火花＆LT;＆控制台GT;：12：错误：未找到：SC值 [英] spark <console>:12: error: not found: value sc

问题描述

我写了以下内容：

val a = 1 to 10000
val b = sc.parallelize(a)

和它显示错误说：

<console>:12: error: not found: value sc

任何帮助吗？

推荐答案

我尝试在Cloudera的快速启动VM星火当打这个错误。原来是在/用户/火花的HDFS文件权​​限的问题。

I hit this error when trying out Spark on cloudera quickstart VM. Turned out to be an hdfs file permission issue on /user/spark.

我不能切换到用户的火花，我得到了用户不可用错误。
用下面的命令更改文件权限解决了我。

I could not switch to user "spark", I got a user not available error. Changing file permissions with the below command solved it for me.

须藤-u Hadoop的HDFS FS -chmod -R 1777 /用户/火花

sudo -u hdfs hadoop fs -chmod -R 1777 /user/spark

斯卡拉> VAL数据= 1〜10000
数据：scala.collection.immutable.Range.Inclusive =范围（1，2，3，4，5，6，161，162，163，164，165，166，167，168，169，170 ...
斯卡拉> VAL distData = sc.parallelize（数据）
distData：org.apache.spark.rdd.RDD [INT] = ParallelCollectionRDD [0]在并行化：14

scala> val data = 1 to 10000 data: scala.collection.immutable.Range.Inclusive = Range(1, 2, 3, 4, 5, 6, 161, 162, 163, 164, 165, 166, 167, 168, 169, 170... scala> val distData = sc.parallelize(data) distData: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at :14

这篇关于火花＆LT;＆控制台GT;：12：错误：未找到：SC值的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！