在火花中，参数"minPartitions"是什么?在SparkContext.textFile(path，minPartitions)中工作? [英] In spark, what does the parameter "minPartitions" works in SparkContext.textFile(path, minPartitions)?
本文介绍了在火花中，参数"minPartitions"是什么?在SparkContext.textFile(path，minPartitions)中工作?的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
在Spark中，SparkContext或JavaSparkContext， 调用sc.textFile时，有一个参数是minPartitions.该参数表示什么?
In Spark, either SparkContext or JavaSparkContext, there is one parameter which is minPartitions when you call sc.textFile. what does this parameter imply?
推荐答案
minPartitions will be passed to Hadoop's InputFormat.getSplits. The parameter is a hint, so you may get more or less partitions, depending on the Hadoop InputFormat implementation.
这篇关于在火花中，参数"minPartitions"是什么?在SparkContext.textFile(path，minPartitions)中工作?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
