如果在列中存在列，则过滤spark / scala数据框 [英] Filter spark/scala dataframe if column is present in set

问题描述

  data.filter（$ （A），点亮（B），点亮（C），...））
  

函数 lit 将文字转换为列。

理想情况下，我会把我的A，B， C在一个集合中，像这样检查：

  val validValues = Set（A，B，C， ...）
 data.filter（$myColumn.in（validValues））
  

什么是正确的语法？有没有其他简洁的解决方案？

解决方案

Spark 1.4或更早版本：

  val validValues = Set（A，B，C）map（lit（_））
 data.filter（$myColumn.in （validValues.toSeq：_ *））
  

Spark 1.5或更新版本：

  val validValues = Set（A，B，C）
 data.filter（$myColumn.isin（validValues .toSeq：_ *））
  

I'm using Spark 1.4.0, this is what I have so far:

data.filter($"myColumn".in(lit("A"), lit("B"), lit("C"), ...))

The function lit converts a literal to a column.

Ideally I would put my A, B, C in a Set and check like this:

val validValues = Set("A", "B", "C", ...)
data.filter($"myColumn".in(validValues))

What's the correct syntax? Are there any alternative concise solutions?

解决方案

Spark 1.4 or older:

val validValues = Set("A", "B", "C").map(lit(_))
data.filter($"myColumn".in(validValues.toSeq: _*))

Spark 1.5 or newer:

val validValues = Set("A", "B", "C")
data.filter($"myColumn".isin(validValues.toSeq: _*))

这篇关于如果在列中存在列，则过滤spark / scala数据框的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！