如何散列 PySpark DataFrame 以返回浮点数? [英] How to hash PySpark DataFrame to get a float returned?

问题描述

假设我有火花数据框

+--------+-----+|字母|计数|+--------+-----+|一个|2||乙|2||| |1|+--------+-----+

然后我想找到平均值.所以，我做到了

df = df.groupBy().mean('letter')

给出一个数据框

+-------------------+|平均(字母)|+-----------------+|1.6666666666666667|+-----------------+

如何在 Pandas 数据框中散列它以仅获得 1.6666666666666667 值，例如 df["avg(letter)"][0] ?或者任何获得 1.66666666666666667 的解决方法

注意:我需要返回一个浮点数.不是列表也不是数据框.

谢谢

解决方案

先行:

<预><代码>>>>df.groupBy().mean('letter').first()[0]

Let's say I have spark dataframe

+--------+-----+
|  letter|count|
+--------+-----+
|       a|    2|
|       b|    2|
|       c|    1|
+--------+-----+

Then I wanted to find mean. So, I did

df = df.groupBy().mean('letter')

which give a dataframe

+------------------+
|       avg(letter)|
+------------------+
|1.6666666666666667|
+------------------+

how can I hash it to get only value 1.6666666666666667 like df["avg(letter)"][0] in Pandas dataframe? Or any workaround to get 1.6666666666666667

Note: I need a float returned. Not a list nor dataframe.

Thank you

解决方案

Take first:

>>> df.groupBy().mean('letter').first()[0]

这篇关于如何散列 PySpark DataFrame 以返回浮点数?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！