Parquet谓词下推在使用Spark非EMR的S3上有效吗? [英] is Parquet predicate pushdown works on S3 using Spark non EMR?
本文介绍了Parquet谓词下推在使用Spark非EMR的S3上有效吗?的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
只是想知道Parquet谓词下推是否也适用于S3，而不仅限于HDFS.具体来说，如果我们使用Spark(非EMR).
Just wondering if Parquet predicate pushdown also works on S3, not only HDFS. Specifically if we use Spark (non EMR).
进一步的解释可能会有所帮助，因为它可能涉及对分布式文件系统的理解.
Further explanation might be helpful since it might involve understanding on distributed file system.
推荐答案
是.过滤器下推不依赖于基础文件系统.它仅取决于spark.sql.parquet.filterPushdown和过滤器的类型(并非所有过滤器都可以被按下).
Yes. Filter pushdown does not depend on the underlying file system. It only depends on the spark.sql.parquet.filterPushdown and the type of filter (not all filters can be pushed down).
请参见 查看全文
