Spark scala-count来自文件的偶数 [英] Spark scala-count even numbers from from file

查看:368
本文介绍了Spark scala-count来自文件的偶数的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

大家好,



我是大数据世界的新手。需要帮助才能让它变得真实。这是我的问题

我从txt文件中读取数据(1,2,3,4,4,4,4)



var file = sc.textFile(file:/// home / cloudera / MyData / Lab1 / numbers.txt)

var number = file.flatMap(line => line.split(,))

var intNumbers = number.map(num => num.toInt)//错误

intNumbers.collect()

java.lang.NumberFormatException:对于输入字符串:



错误即将到来,因为数组的最后一个元素无法转换为Int



PLease帮助那个

在此先感谢。





问候,

学习Spark < br $> b $ b

我尝试了什么:



在文件中添加数据(1) ,2,3,4,4,4,4,)

但仍然显示相同的错误

数组[String] =数组(1,2,3,4, 5,6,4,4,4,4 ,,)

Hi All,

I am New to Big Data World.need urs help to make it real.here is myquestion
I am Reading data from txt file(1,2,3,4,4,4,4)

var file=sc.textFile("file:///home/cloudera/MyData/Lab1/numbers.txt")
var number=file.flatMap(line=>line.split(","))
var intNumbers=number.map(num=>num.toInt)//Error
intNumbers.collect()
java.lang.NumberFormatException: For input string: ""

error is coming due to last element of array not able to convert to Int

PLease help on that
Thanks In Advance.


Regards,
Learning Spark

What I have tried:

added data in file like (1,2,3,4,4,4,4,)
but still shows same error
Array[String] = Array(1,2,3,4,5,6,4,4,4,4,, "")

推荐答案

数据包含一个不是数字的项目,因此您需要在尝试转换之前将其从列表中删除。
The data contains an item that is not a number, so you need to strip that out of your list before trying to convert.


这篇关于Spark scala-count来自文件的偶数的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆