Spark scala-count来自文件的偶数 [英] Spark scala-count even numbers from from file

问题描述

大家好，



我是大数据世界的新手。需要帮助才能让它变得真实。这是我的问题

我从txt文件中读取数据（1,2,3,4,4,4,4）



var file = sc.textFile（file：/// home / cloudera / MyData / Lab1 / numbers.txt）

var number = file.flatMap（line => line.split（，））

var intNumbers = number.map（num => num.toInt）//错误

intNumbers.collect（）

java.lang.NumberFormatException：对于输入字符串：



错误即将到来，因为数组的最后一个元素无法转换为Int



PLease帮助那个

在此先感谢。





问候，

学习Spark < br $> b $ b

我尝试了什么：



在文件中添加数据（1） ，2,3,4,4,4,4，）

但仍然显示相同的错误

数组[String] =数组（1,2,3,4， 5,6,4,4,4,4 ,,）

Hi All,

I am New to Big Data World.need urs help to make it real.here is myquestion
I am Reading data from txt file(1,2,3,4,4,4,4)

var file=sc.textFile("file:///home/cloudera/MyData/Lab1/numbers.txt")
var number=file.flatMap(line=>line.split(","))
var intNumbers=number.map(num=>num.toInt)//Error
intNumbers.collect()
java.lang.NumberFormatException: For input string: ""

error is coming due to last element of array not able to convert to Int

PLease help on that
Thanks In Advance.


Regards,
Learning Spark

What I have tried:

added data in file like (1,2,3,4,4,4,4,)
but still shows same error
Array[String] = Array(1,2,3,4,5,6,4,4,4,4,, "")

推荐答案

数据包含一个不是数字的项目，因此您需要在尝试转换之前将其从列表中删除。

The data contains an item that is not a number, so you need to strip that out of your list before trying to convert.

这篇关于Spark scala-count来自文件的偶数的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！