如何将json转换为pyspark dataframe(更快的实现) [英] How to convert json to pyspark dataframe (faster implementation)

问题描述

我有以下形式的json数据: {'abc':1，'def':2，'ghi':3} 如何在python中将其转换为pyspark数据框?

I have json data in form of {'abc':1, 'def':2, 'ghi':3} How to convert it into pyspark dataframe in python?

推荐答案

import json
j = {'abc':1, 'def':2, 'ghi':3}
a=[json.dumps(j)]
jsonRDD = sc.parallelize(a)
df = spark.read.json(jsonRDD)

>>> df.show()
+---+---+---+
|abc|def|ghi|
+---+---+---+
|  1|  2|  3|
+---+---+---+

这篇关于如何将json转换为pyspark dataframe(更快的实现)的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！