删除rdd中的空白行 [英] Deleting blank line in rdd

查看:259
本文介绍了删除rdd中的空白行的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我是一名新手.我有一个看起来像这样的RDD

I'm a newbie to spark. I have an RDD which looks likes this

12434|arizona|2016-10-11|000
56783|california|2016-10-12|111

23456|Texas|2016-10-11|234

我正在尝试删除第二行和第三行之间的空白行.我尝试了val rdd2=rdd1.filter(x=>x!='\n'),但无法正常工作.任何解决此问题的建议都会有所帮助

I am trying to delete the blank line between 2nd and 3rd row. I tried val rdd2=rdd1.filter(x=>x!='\n') but not working. Any suggestions how to resolve this will be helpful

推荐答案

尝试:

rdd1.filter(x => !x.isEmpty)

这篇关于删除rdd中的空白行的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆