Pyspark DataFrame OrderBy的列列表 [英] Pyspark dataframe OrderBy list of columns

查看:2843
本文介绍了Pyspark DataFrame OrderBy的列列表的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

在尝试写入CSV之前,我试图在pyspark数据帧中使用OrderBy函数,但如果有列列表,则不能确定使用OrderBy函数.

I am trying to use OrderBy function in pyspark dataframe before I write into csv but I am not sure to use OrderBy functions if I have a list of columns.

代码:

Cols = ['col1','col2','col3']
df = df.OrderBy(cols,ascending=False)

推荐答案

根据文档字符串/签名:

As per docstring / signature:

Signature: df.orderBy(*cols, **kwargs)
Docstring:
Returns a new :class:`DataFrame` sorted by the specified column(s).
:param cols: list of :class:`Column` or column names to sort by.
:param ascending: boolean or list of boolean (default True).

两者

df = spark.createDataFrame([(1, 2, 3)] )
cols = ["_1", "_2", "_3"]

df.orderBy(cols, ascending=False)

df.orderBy(*cols, ascending=False)

有效,与list[pyspark.sql.Column]等效.

这篇关于Pyspark DataFrame OrderBy的列列表的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆