Pyspark 数据帧操作符“IS NOT IN" [英] Pyspark dataframe operator "IS NOT IN"

查看:64
本文介绍了Pyspark 数据帧操作符“IS NOT IN"的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我想将它从 R 重写为 Pyspark,有什么好看的建议吗?

I would like to rewrite this from R to Pyspark, any nice looking suggestions?

array <- c(1,2,3)
dataset <- filter(!(column %in% array))

推荐答案

在 pyspark 中你可以这样做:

In pyspark you can do it like this:

array = [1, 2, 3]
dataframe.filter(dataframe.column.isin(array) == False)

或者使用二元非运算符:

Or using the binary NOT operator:

dataframe.filter(~dataframe.column.isin(array))

这篇关于Pyspark 数据帧操作符“IS NOT IN"的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆