Spark:从逻辑计划中提取数据框 [英] Spark: Extract dataframe from logical plan

问题描述

这行代码将dataFrame转换为逻辑计划

This line of code converts a dataFrame to a logical plan

val logical = df.queryExecution.logical

我们可以做相反的事情，即从逻辑计划中提取使用的数据帧吗?

Can we do the opposite, meaning extracting from the logical plan, the dataframes used ?

推荐答案

在数据集对象中有一种方法:

in Dataset object there is a method:

def ofRows(sparkSession: SparkSession, logicalPlan: LogicalPlan)

因此，如果您有逻辑计划，则可以通过调用 Dataset.ofRows(sparkSession，logical)

so if you have a logical plan, you can transform it into a DataFrame by calling Dataset.ofRows(sparkSession, logical)

这篇关于Spark:从逻辑计划中提取数据框的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！