从pyspark数据框中获取多个(100+)列的空计数,最小值和最大值的最佳方法 [英] Best way to get null counts, min and max values of multiple (100+) columns from a pyspark dataframe
本文介绍了从pyspark数据框中获取多个(100+)列的空计数,最小值和最大值的最佳方法的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
说我有一个列名列表,它们都存在于数据框中
Say I have a list of column names and they all exist in the dataframe
Cols = ['A', 'B', 'C', 'D'],
我正在寻找一种获取表/数据框之类的快速方法
I am looking for a quick way to get a table/dataframe like
NA_counts min max
A 5 0 100
B 10 0 120
C 8 1 99
D 2 0 500
TIA
推荐答案
您可以分别计算每个指标,然后像这样合并所有指标:
You can calculate each metric separately and then union all like this:
nulls_cols = [sum(when(col(c).isNull(), lit(1)).otherwise(lit(0))).alias(c) for c in cols]
max_cols = [max(col(c)).alias(c) for c in cols]
min_cols = [min(col(c)).alias(c) for c in cols]
nulls_df = df.select(lit("NA_counts").alias("count"), *nulls_cols)
max_df = df.select(lit("Max").alias("count"), *max_cols)
min_df = df.select(lit("Min").alias("count"), *min_cols)
nulls_df.unionAll(max_df).unionAll(min_df).show()
输出示例:
+---------+---+---+----+----+
| count| A| B| C| D|
+---------+---+---+----+----+
|NA_counts| 1| 0| 3| 1|
| Max| 9| 5|Test|2017|
| Min| 1| 0|Test|2010|
+---------+---+---+----+----+
这篇关于从pyspark数据框中获取多个(100+)列的空计数,最小值和最大值的最佳方法的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文