为什么Spark作业会因“打开的文件太多"而失败? [英] Why does Spark job fail with "too many open files"?
本文介绍了为什么Spark作业会因“打开的文件太多"而失败?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
在我的Spark作业的洗牌阶段,我得到打开的文件太多".为什么我的工作打开这么多文件?我可以采取什么步骤来使我的工作取得成功.
I get "too many open files" during the shuffle phase of my Spark job. Why is my job opening so many files? What steps can I take to try to make my job succeed.
推荐答案
查看全文