PySpark 如何遍历 Dataframe 列并更改数据类型? [英] PySpark how to iterate over Dataframe columns and change data type?

问题描述

迭代 Spark 数据帧(使用 Pyspark)并找到 Decimal(38,10) 的数据类型的最佳方法是什么 -> 将其更改为 Bigint(并将所有数据重新保存到相同的数据帧))?

What is the best way to iterate over Spark Dataframe (using Pyspark) and once find data type of Decimal(38,10) -> change it to Bigint (and resave all to the same dataframe)?

我有一部分用于更改数据类型 - 例如:

I have a part for changing data types - e.g.:

df = df.withColumn("COLUMN_X", df["COLUMN_X"].cast(IntegerType()))

但试图找到并与迭代集成..

but trying to find and integrate with iteration..

谢谢.

推荐答案

当 type 等于 时，您可以遍历 df.dtypes 并强制转换为 bigint十进制(38,10) :

You can loop through df.dtypes and cast to bigint when type is equal to decimal(38,10) :

from pyspark.sql.funtions import col

select_expr = [
    col(c).cast("bigint") if t == "decimal(38,10)" else col(c) for c, t in df.dtypes
]

df = df.select(*select_expr)

这篇关于PySpark 如何遍历 Dataframe 列并更改数据类型?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！