如何加入数据帧(来自数据集的集合)? [英] How to join dataframes (from a collection of Datasets)?

问题描述

我一直在寻找并找出加入 n Spark 数据帧的最佳方式.

I was searching and figuring out the best way to join n Spark dataframes.

示例 List(df1,df2,df3,dfN)，其中所有 df 都有一个我可以加入的日期.

Example List(df1,df2,df3,dfN) where all df have a date where I can join on.

递归?

推荐答案

像这样:

List(df1,df2,df3,dfN).reduce((a, b) => a.join(b, joinCondition))

这篇关于如何加入数据帧(来自数据集的集合)?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！