使用SparkR创建的数据帧和使用Sparklyr创建的数据帧之间有什么区别? [英] What is difference between dataframe created using SparkR and dataframe created using Sparklyr?

问题描述

我正在读取Azure数据砖中的实木复合地板文件:使用SparkR>read.parquet()使用Sparklyr>spark_read_parquet()这两个数据帧是不同的，是否有任何方法可以将SparkR数据帧转换为sparklyr数据帧，反之亦然?

I am reading a parquet file in Azure databricks: Using SparkR > read.parquet() Using Sparklyr > spark_read_parquet() Both the dataframes are different, Is there any way to convert SparkR dataframe into the sparklyr dataframe and vice-versa ?

推荐答案

sparklyr创建tbl_spark.从本质上讲，这只是用Spark SQL编写的惰性查询.SparkR创建一个SparkDataFrame，它更多是使用计划组织的数据集合.

sparklyr creates tbl_spark. This is essentially just a lazy query written in Spark SQL. SparkR creates a SparkDataFrame which is more of a collection of data that is organized using a plan.

以相同的方式，您不能将tbl用作普通数据.不能以与SparkDataFrame相同的方式使用tbl_spark.

In the same way you can't use a tbl as a normal data.frame you can't use a tbl_spark the same way as a SparkDataFrame.

我唯一想到的一种将其转换为数据湖/数据仓库或首先将其读入r的方法.

The only way I can think of to convert one to the other would be to write it to your data lake/ data warehouse or read it into r first.

这篇关于使用SparkR创建的数据帧和使用Sparklyr创建的数据帧之间有什么区别?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！