使用Python将带有Unicode数据列表的RDD转换为Spark中的元组的RDD [英] Convert an RDD with list of unicode data to an RDD of tuples in Spark with Python

问题描述

我有一个 RDD 和 unicode 数据的 list ，例如:

I have an RDD with list of unicode data like:

[[u'2002-03-31',u'emp1',u'20000'],[u'2002-05-11',u'emp2',u'23050'],[u'2002-05-17',u'emp1',u'23300']...]

，我想使用 tuple 将其转换为 RDD ，例如:

and I want to convert it to RDD with tuple like:

[(u'2002-03-31',u'emp1',u'20000'),(u'2002-05-11',u'emp2',u'23050'),(u'2002-05-17',u'emp1',u'23300')...]

怎么办?

推荐答案

您可以简单地使用 tuple 映射:

You can simply map with tuple:

rdd = sc.parallelize([
    [u'2002-03-31', u'emp1', u'20000'],
    [u'2002-05-11', u'emp2', u'23050'],
    [u'2002-05-17', u'emp1', u'23300']])

tuples = rdd.map(tuple)
tuples.first()
## ('2002-03-31', 'emp1', '20000')

这篇关于使用Python将带有Unicode数据列表的RDD转换为Spark中的元组的RDD的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！