如何使用pyspark在Hadoop中读取Parquet文件，更改数据类型并写入另一个Parquet文件 [英] How to Read a parquet file , change datatype and write to another Parquet file in Hadoop using pyspark

问题描述

我的源实木复合地板文件中的所有内容都为字符串.我的目标拼花地板文件需要将其转换为不同的数据类型，例如int，字符串，日期等.我该怎么做?

My source parquet file has everything as string. My destination parquet file needs to convert this to different datatype like int, string, date etc. How do I do this?

推荐答案

您可能希望将用户定义的架构应用于加快数据加载速度.有两种方法可以应用它-

you may wanted to apply userdefined schema to speedup data loading. There are 2 ways to apply that-

spark.read.schema("a INT, b STRING, c DOUBLE").parquet("test.parquet")

使用StructType模式

customSchema = StructType([
        StructField("a", IntegerType(), True),
        StructField("b", StringType(), True),
        StructField("c", DoubleType(), True)])
spark.read.schema(customSchema).parquet("test.parquet")

这篇关于如何使用pyspark在Hadoop中读取Parquet文件，更改数据类型并写入另一个Parquet文件的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！