使用Spark DataFrame列制作直方图 [英] Making histogram with Spark DataFrame column

问题描述

我正在尝试使用数据帧中的一列制作直方图，

I am trying to make a histogram with a column from a dataframe which looks like

DataFrame[C0: int, C1: int, ...]

如果要使用C1列制作直方图，该怎么办?

If I were to make a histogram with the column C1, what should I do?

我尝试过的一些事情

df.groupBy("C1").count().histogram()
df.C1.countByValue()

由于数据类型不匹配而无法正常工作.

Which do not work because of mismatch in data types.

推荐答案

对我有用的是

df.groupBy("C1").count().rdd.values().histogram()

我必须转换为RDD，因为我在pyspark.RDD类中找到了histogram方法，但在spark.SQL模块中找不到了

I have to convert to RDD because I found histogram method in pyspark.RDD class, but not in spark.SQL module

这篇关于使用Spark DataFrame列制作直方图的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！