如何使用Hadoop的InputFormats在Apache的火花？
我在Hadoop的一个类 ImageInputFormat 从HDFS读取图像。如何使用我的InputFormat火花？ 下面是我的 ImageInputFormat ： 公共类ImageInputFormat扩展FileInputFormat＆LT;文字，ImageWritable＆GT; { @覆盖 公共ImageRecordReader createRecordReader
..
hdfs相关内容
在星火运行作业0.9.0抛出错误
我已经安装了Apache的星火0.9.0集群在那里我想部署一个code这读取HDFS文件。这件作品code的抛出一个警告，并最终作业失败。这里是code / ** *运行code会失败 *一个警告 *初始工作没有接受任何资源;检查你的集群用户界面，以确保 *工人登记，并有足够的内存 * /主要对象扩展应用{ VAL SCONF =新SparkConf（） .setMa
..
HDFS中查找的行总数使用命令行分布式文件
我的工作，其中一个数据是保存在 HDFS 以分散的方式在群集上。以下是我有： [HMI @ bdadev-5〜] $ Hadoop的FS -ls / bdatest / CLM /数据/ 发现1840项 -rw-R - R-- 3 BDA超群0 2015年8月11日00:32 / bdatest / CLM /数据/ _SUCCESS -rw-R - R-- 3 BDA超群344043
..
难道火花读取HDFS的数据，并在同一时间做一些计算？
例如，我运行星火平台上以下工作计数应用程序： VAL TEXTFILE = sc.textFile（“HDFS：// ......”） VAL计数= textFile.flatMap（线= GT; line.split（“”）） .MAP（字=＆GT;（字，1）） .reduceByKey（_ + _） counts.saveAsTextFi
..
NotSerializableException与星火json4s
基本上，我来分析HDFS上一些复杂的JSON的星火。 我用“为COM prehensions”来（pre）过滤JSON的和“提取”方法 的json4s把它包装成一个案例类 这一件作品很好！ 高清美孚（RDD：RDD [字符串]）= {案例类视图（C：字符串，B：选项[阵列[列表[字符串]]]，T：时间） 案例上课时间（$ numberLong：字符串） 隐VAL格式= DefaultFor
..
对成纱集群运行的问题星火招聘
我想在运行我的火花工作的 Hadoop的纱的集群模式，我使用下面的命令： 火花提交--master纱线集群 --driver-1G内存 --executor-1G内存 --executor-1核心 --class com.dc.analysis.jobs.AggregationJob
..
HDFS是必要的星火工作量？
HDFS是没有必要的，但建议出现在一些地方。 要帮助评估中获得HDFS的运行花费的精力： 什么是使用HDFS为星火工作负载的好处是什么？ 解决方案 星火是一个分布式处理引擎和 HDFS 是分布式存储系统。 如果HDFS不是一个选项，然后星火必须使用一些其他替代了Apache Cassandra的或亚马逊S3。的形式 看一看这个
..
星火流textFileStream不支持通配符
我设置一个简单的测试流从S3的文本文件，当我试图像得到它的工作 VAL输入= ssc.textFileStream（“S3N：// mybucket / 2015/04/03 /”） 和桶中我会有日志文件去那里一切都正常工作。 但是，如果他们是一个子文件夹，它不会发现，得到了投入的子文件夹的任何文件（是的，我知道HDFS实际上并未使用文件夹结构） VAL输入= ssc.textFileSt
..
阿帕奇星火移动平均线
我在有时间序列数据点（雅虎股票价格）HDFS一个巨大的文件。 我要查找的时间序列的均线我怎么去写了Apache星火工作，做到这一点。 解决方案 您可以使用来自MLLIB滑动功能，这可能做同样的事情作为丹尼尔的回答。你将不得不使用滑动功能之前，按时间对数据进行排序。 进口org.apache.spark.mllib.rdd.RDDFunctions._sc.parallelize（1至1
..
一个火花的工作 - 通过按键星火写入到多个输出
你怎么能写依赖于一个单一的作业中使用的Spark关键多个输出。当然，我可以使用 .filter 所有可能的密钥，但是这是一个可怕的黑客，这将激发了许多就业机会，并且需要多次迭代对数据集 - 这是即使它缓存一个黑客 相关报道：
..
错误：无法找到或加载主类org.apache.hadoop.hdfs.server.datanode.DataNode
我是新来的Apache Hadoop的。我安装了多节点集群，但我得到两个错误。我不知道什么样的错误，这些都是与他们为什么generated.I对错误很多一派，但我没能找出错误的产生背后的原因。 错误：无法找到或加载主类org.apache.hadoop.util.PlatformName 错误：无法找到或加载主类org.apache.hadoop.hdfs.server.datanode.Da
..
在HDFS的FsImage内容
我对什么是在所有的FsImage对元数据的问题。我读了所有突变对文件系统命名空间，如文件重命名，权限更改，文件创建，块分配是里面的FsImage。但是，块位置的数据呢？ 是否包含在哪里（上数据节点）的块存储的信息，以及？ 的http：// bradhedlund我从这个来源得到的。 COM / 2011/09/10 /理解-的Hadoop集群和-的网络/ 中，关于块存储的位置元数据是由数据节点
..
错误执行HDFS zkfc命令
我是新来的Hadoop，HDFS ..我有做下一个步骤： 我已经在三个namenodes开始饲养员： *流浪汉@ 172：〜$ zkServer.sh启动 我可以看到的状态： *流浪汉@ 172：〜$ zkServer.sh状态 结果状态： JMX默认启用 使用配置：/opt/zookeeper-3.4.6/bin/../conf/zoo.cfg 模式：跟随 与J
..
它的Java文件执行Hadoop的HDFS文件拆分成块
大家都知道，当从本地文本文件被复制到HDFS，该文件被分成固定大小128 MB。例如，当我复制一个256MB的文本文件到HDFS，将会有2个街区，包含了“分裂”的文件（128分之256）。 有人可以告诉我的Java / jar文件在的Hadoop 2.7.1 源$ C $ C不拆分文件到块，其中的Java的功能/ jar文件写入到块该Datanode的目录。 帮我跟踪这个code。 我只
..
阅读与Java远程HDFS文件
我有一个有点麻烦，用一个简单的Hadoop的安装。我已经下载的Hadoop 2.4.0和安装在一台CentOS的Linux的节点（虚拟机）上。作为Apache的网站（
..
Cloudera的：在HDFS异常上传文件
我使用的是Mac OS X的优胜美地与VM Cloudera的-快速入门-VM-5.4.2-0-VirtualBox的。当我输入“HDFS DFS -put TESTFILE.TXT”把一个文本文件导入HDFS我得到的 DataStreamer异常。我注意到，主要的问题是，我有节点的数目是零。我复制到这里完整的错误消息下面，我想知道我应该做的解决这个问题。 ＆GT; WARN hdfs.DFSC
..
可以阿帕奇水槽HDFS下沉接受动态路径写？
我是新来的Apache水槽。结果 我想知道怎样才能得到一个JSON（如http源），解析它并将其存储在根据内容HDFS动态路径。结果 例如：结果 如果JSON是： [{ “字段1”：“值1” “字段2”：“VALUE2” }] 那么HDFS路径将是：结果 /一些默认的根路径/值1 /值2 /一些价值名文件结果 是否有水槽这样的配置，让我这样做？ 下面是我目前的配置（接受通过
..
HDFS namenood格式化出错＆QUOT;找不到主类：namenood＆QUOT;。 code附
如下图所示我得到的错误，而在格式化的Namenode， [Hadoop的@本地〜] $ /home/hadoop/project/hadoop-1.0.4/bin/hadoop namenood -format 异常线程“main”java.lang.NoClassDefFoundError的：namenood 抛出java.lang.ClassNotFoundException：引起name
..
我怎样才能使用java HDFS一个新的目录？
公共静态无效的主要（字串[] args）抛出IOException异常，的URISyntaxException { 配置配置=新配置（）; config.set（“fs.default.name”，“HDFS：//127.0.0.1：50070 / dfshealth.jsp”）; 文件系统DFS = FileSystem.get（配置）; 字符串目录名=“T
..
试图用保险丝安装HDFS。不能编译libhdfs
我试图编译libhdfs（本地共享库，允许外部应用与HDFS接口）。这是我不得不采取用保险丝安装Hadoop的HDFS的几个步骤之一。 编制似乎顺利一段时间，但以“构建失败”结束及以下问题汇总 - 的commons-logging＃的commons-logging; 1.0.4：在的commons-logging＃的commons-logging没有找到配置; 1.0.4：'主人'。这是从or
..