PySpark 翻转键/值 [英] PySpark flip key/value

问题描述

我正在尝试从数据集中翻转键值以进行排序.但是，map 函数返回一个无效的语法错误

I am trying to flip key value from a dataset to do sorting. However, the map function return an invalid syntax error

rdd = clean_headers_rdd.rdd\
        .filter(lambda x: x['date'].year == 2016)\
        .map(lambda x: (x['user_id'], 1)).reduceByKey(lambda x, y: x + y)\
        .map(lambda (x, y): (y, x)).sortByKey(ascending = False)

推荐答案

PEP 3113-- 去除元组参数解包.

• 过渡计划推荐的方法:

rdd.map(lambda x_y: (x_y[1],  x_y[0])

operator 模块的快捷方式:

from operator import itemgetter

rdd.map(itemgetter(1, 0))

切片:

Slicing:

rdd.map(lambda x: x[::-1])

这篇关于PySpark 翻转键/值的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！