指定木地板属性pyspark [英] Specify Parquet properties pyspark

问题描述

如何在PySpark中指定镶木地板块大小和页面大小?我到处搜索，但是找不到函数调用或导入库的任何文档.

How to specify Parquet Block Size and Page Size in PySpark? I have searched everywhere but cannot find any documentation for the function calls or the import libraries.

推荐答案

根据

在PySpark中如此

so in PySpark

sc._jsc.hadoopConfiguration().setInt("dfs.blocksize", some_value)
sc._jsc.hadoopConfiguration().setInt("parquet.block.size", some_value)

这篇关于指定木地板属性pyspark的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！