在PySpark数据框中选择列 [英] Select columns in PySpark dataframe

查看:83
本文介绍了在PySpark数据框中选择列的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我正在寻找一种在PySpark中选择数据框的列的方法.对于第一行,我知道我可以使用 df.first(),但是不确定列,因为它们没有列名.

I am looking for a way to select columns of my dataframe in PySpark. For the first row, I know I can use df.first(), but not sure about columns given that they do not have column names.

我有5列,并且想遍历它们中的每一个.

I have 5 columns and want to loop through each one of them.

+--+---+---+---+---+---+---+
|_1| _2| _3| _4| _5| _6| _7|
+--+---+---+---+---+---+---+
|1 |0.0|0.0|0.0|1.0|0.0|0.0|
|2 |1.0|0.0|0.0|0.0|0.0|0.0|
|3 |0.0|0.0|1.0|0.0|0.0|0.0|

推荐答案

尝试如下操作:

df.select([c for c in df.columns if c in ['_2','_4','_5']]).show()

这篇关于在PySpark数据框中选择列的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆