pyspark 访问数据框的列,带有一个点“." [英] pyspark access column of dataframe with a dot '.'

查看:17
本文介绍了pyspark 访问数据框的列,带有一个点“."的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

包含点(例如id.orig_h")的pyspark数据帧将不允许groupby,除非首先由withColumnRenamed重命名.有解决方法吗?"`a.b`" 似乎没有解决.

A pyspark dataframe containing dot (e.g. "id.orig_h") will not allow to groupby upon unless first renamed by withColumnRenamed. Is there a workaround? "`a.b`" doesn't seem to solve it.

推荐答案

在我的 pyspark shell 中,以下代码段有效:

In my pyspark shell, the following snippets are working:

from pyspark.sql.functions import *
myCol = col("`id.orig_h`")    
result = df.groupBy(myCol).agg(...)

myCol = df["`id.orig_h`"]   
result = df.groupBy(myCol).agg(...)

希望能帮到你.

这篇关于pyspark 访问数据框的列,带有一个点“."的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆