如何联接数据框(来自一组数据集)? [英] How to join dataframes (from a collection of Datasets)?

问题描述

我正在搜索并找出加入n Spark数据帧的最佳方法.

I was searching and figuring out the best way to join n Spark dataframes.

示例List(df1,df2,df3,dfN)，其中所有df都有可以加入的日期.

Example List(df1,df2,df3,dfN) where all df have a date where I can join on.

递归?

推荐答案

像这样:

List(df1,df2,df3,dfN).reduce((a, b) => a.join(b, joinCondition))

这篇关于如何联接数据框(来自一组数据集)?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！