在不使用 Spark 的情况下从 Scala 读取 Parquet 文件 [英] Read Parquet files from Scala without using Spark

问题描述

是否可以在不使用 Apache Spark 的情况下从 Scala 读取 parquet 文件?

Is it possible to read parquet files from Scala without using Apache Spark?

我发现了一个项目，它允许我们使用普通的 Scala 读写 avro 文件.

I found a project which allows us to read and write avro files using plain scala.

https://github.com/sksamuel/avro4s

但是我无法找到一种方法来使用普通的 Scala 程序读写 Parquet 文件而不使用 Spark?

However I can't find a way to read and write parquet files using plain scala program without using Spark?

推荐答案

是的，您不必使用 Spark 来读/写 Parquet.只需直接从您的 Scala 代码中使用 parquet lib(这就是 Spark 正在做的事情):http://search.maven.org/#search%7Cga%7C1%7Cparquet

Yes, you don't have to use Spark to read/write Parquet. Just use parquet lib directly from your Scala code (and that's what Spark is doing anyway): http://search.maven.org/#search%7Cga%7C1%7Cparquet

这篇关于在不使用 Spark 的情况下从 Scala 读取 Parquet 文件的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！