SQL Sparklyr Sparkr Databricks上的数据帧转换 [英] sql sparklyr sparkr dataframe conversions on databricks
本文介绍了SQL Sparklyr Sparkr Databricks上的数据帧转换的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我在使用以下代码创建的数据块上拥有sql表
I have the sql table on the databricks created using the following code
%sql
CREATE TABLE data
USING CSV
OPTIONS (header "true", inferSchema "true")
LOCATION "url/data.csv"
以下代码分别将该表转换为sparkr和r数据帧:
The following code converts that table to sparkr and r dataframe, respectively:
%r
library(SparkR)
data_spark <- sql("SELECT * FROM data")
data_r_df <- as.data.frame(data_spark)
但是我不知道如何将这些数据帧中的任何一个或全部转换为sparklyr数据帧以利用Sparklyr的并行化?
But I don't know how should I convert any or all of these dataframes into sparklyr dataframe to leverage parallelization of sparklyr?
推荐答案
只是
sc <- spark_connect(...)
data_spark <- dplyr::tbl(sc, "data")
或
sc %>% spark_session() %>% invoke("sql", "SELECT * FROM data") %>% sdf_register()
这篇关于SQL Sparklyr Sparkr Databricks上的数据帧转换的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文