如何使用pyspark从列表中获取最后一个项目? [英] How do I get the last item from a list using pyspark?

问题描述

为什么列1st_from_end包含空值:

from pyspark.sql.functions import split
df = sqlContext.createDataFrame([('a b c d',)], ['s',])
df.select(   split(df.s, ' ')[0].alias('0th'),
             split(df.s, ' ')[3].alias('3rd'),
             split(df.s, ' ')[-1].alias('1st_from_end')
         ).show()

我认为使用[-1]是获取列表中最后一项的pythonic方法.为什么在pyspark中不起作用?

I thought using [-1] was a pythonic way to get the last item in a list. How come it doesn't work in pyspark?

推荐答案

如果您使用的是Spark> = 2.4.0，请参见jxc的回答在下面.

If you're using Spark >= 2.4.0 see jxc's answer below.

在Spark中< 2.4.0中，数据框API不支持Spark<中的数组上的-1索引. 2.4.0，但是您可以编写自己的UDF或使用内置的size()函数，例如:

In Spark < 2.4.0, dataframes API didn't support -1 indexing on arrays in Spark < 2.4.0, but you could write own UDF or use built-in size() function, for example:

>>> from pyspark.sql.functions import size
>>> splitted = df.select(split(df.s, ' ').alias('arr'))
>>> splitted.select(splitted.arr[size(splitted.arr)-1]).show()
+--------------------+
|arr[(size(arr) - 1)]|
+--------------------+
|                   d|
+--------------------+

这篇关于如何使用pyspark从列表中获取最后一个项目?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！