如何从Spark SQL中的列表创建数据框? [英] How to create dataframe from list in Spark SQL?

问题描述

火花版本:2.1

例如，在pyspark中，我创建一个列表

For example, in pyspark, i create a list

test_list = [['Hello', 'world'], ['I', 'am', 'fine']]

然后如何从test_list创建数据框，其中数据框的类型如下:

then how to create a dataframe form the test_list, where the dataframe's type is like below:

DataFrame[words: array<string>]

推荐答案

方法如下-

from pyspark.sql.types import *

cSchema = StructType([StructField("WordList", ArrayType(StringType()))])

# notice extra square brackets around each element of list 
test_list = [['Hello', 'world']], [['I', 'am', 'fine']]

df = spark.createDataFrame(test_list,schema=cSchema) 

这篇关于如何从Spark SQL中的列表创建数据框?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！