如果集合中存在列，则过滤 spark/scala 数据框 [英] Filter spark/scala dataframe if column is present in set

问题描述

我使用的是 Spark 1.4.0，这是我目前所拥有的:

I'm using Spark 1.4.0, this is what I have so far:

data.filter($"myColumn".in(lit("A"), lit("B"), lit("C"), ...))

函数lit 将文字转换为列.

The function lit converts a literal to a column.

理想情况下，我会将我的 A、B、C 放在一个 Set 中并像这样检查:

Ideally I would put my A, B, C in a Set and check like this:

val validValues = Set("A", "B", "C", ...)
data.filter($"myColumn".in(validValues))

正确的语法是什么?有没有其他简洁的解决方案?

What's the correct syntax? Are there any alternative concise solutions?

推荐答案

Spark 1.4 或更低版本:

Spark 1.4 or older:

val validValues = Set("A", "B", "C").map(lit(_))
data.filter($"myColumn".in(validValues.toSeq: _*))

Spark 1.5 或更新版本:

Spark 1.5 or newer:

val validValues = Set("A", "B", "C")
data.filter($"myColumn".isin(validValues.toSeq: _*))

这篇关于如果集合中存在列，则过滤 spark/scala 数据框的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！