Spark Dataframe 最大列数 [英] Spark Dataframe Maximum Column Count

查看:58
本文介绍了Spark Dataframe 最大列数的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

spark Dataframe 的最大列数是多少?我尝试从数据框文档中获取它,但无法找到它.

What is the maximum column count of spark Dataframe? I tried getting it from data frame documentation but unable to find it.

推荐答案

从架构的角度来看,它们是可扩展的,所以列数应该没有任何限制,但它会导致节点上的负载不均匀&可能会影响转换的整体性能.

From the architectural perspective, they are scalable, so there should not be any limit on the column count, but it can give rise to uneven load on the nodes & may affect the overall performance of your transformations.

这篇关于Spark Dataframe 最大列数的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆