分布式计算/Hadoop 通过Sqoop将序列文件导出到Oracle

我一直在试图找到一些关于如何使用Sqoop将序列文件导出到Oracle的文档。这是可能的吗? 目前我有我的文件(在HDFS中)以基于文本的格式,我使用Sqoop将这些文件导出到Oracle的某些表并且工作正常。现在我想将文件的格式从文本更改为序列文件或其他内容(Avro稍后)。那么,如果我想使用Sqoop将不同文件格式从HDFS导出到Oracle,我需要做什么? 任何信息都将得到高度赞

1236 2018-06-01 IT屋

分布式计算/Hadoop 如何设置OutputCommitter配置?

我有一个使用JobClient提交作业的mapreduce代码。我一直得到这个空指针错误堆栈 12/12/10 12:42:44信息mapred.LocalJobRunner:OutputCommitter set in config null null 线程“main”中的异常java.lang.NullPointerException $ b $ org.apache.hadoop.

750 2018-06-01 IT屋

分布式计算/Hadoop 无法从Windows连接到HBase

我试图从Windows运行一个HBase Java Client程序。 我所拥有的是1)没有任何编译错误的Java程序 2)hbase-site.xml (没有其他HDFS或HBase配置文件,只有上面的。) 当我运行该程序时,出现以下错误 - 在最后一个块中给出。我想念什么? 我在这里给予。

1296 2018-06-01 IT屋

分布式计算/Hadoop 将文件加载到猪中并对其进行解压缩

我将一堆来自Azure存储的文件加载到猪身上。 Pig对gzip有默认支持,所以如果文件扩展名为.gz,那么一切正常。 问题是旧文件以.zip扩展名存储有数百万个)。 有没有办法告诉pig加载文件并将.zip作为gzip? 解决方案 我真的不知道其他一些选项可用,但您可以尝试类似这样的功能。 写一个bash脚本,将给定的zip文件转换为gz文件 在pig中加载gz文件

870 2018-06-01 IT屋

分布式计算/Hadoop 无法将目录上传到hdfs。 `/ usr / local / tmp /':没有这样的文件或目录

我试图将目录中的文件上传到我在HDFS上创建的目录,但由于ubuntu无法在我的机器上找到这些文件,因此我无法做到这一点。 目录'状态'(其中一个我试图上传)包含50个txt文件,位于我的下载文件夹中(路径:/ home / shradha / Downloads)。我试图上传这些文件在我的ec2 hadoop实例在hdfs / states(我已经创建了hdfs和states)。 我在某处读

1116 2018-06-01 IT屋

分布式计算/Hadoop Hadoop,套接字超时错误

我试图在Hadoop上运行terasort。 我得到一个超时错误,如下所示。 [hadoop @ master mapreduce] $ hadoop jar $(ls hadoop-mapreduce-examples-2 * .jar)teragen 100000000 / terasort / in 16/10/08 21:30:17 WARN util.NativeCodeL

1266 2018-06-01 IT屋

分布式计算/Hadoop 蜂巢:Concat一张地图

当我试图连接map时,我在Hive中遇到了一些麻烦。假设我有类似的东西: $ b $ b var 1 | var 2 x |地图(key1:value1) x |地图(key2:value2) x | map(key3:value3) y | map(key4:value4) 我试图得到的东西就是这样 var 1 | var 2

780 2018-06-01 IT屋

分布式计算/Hadoop 使用storm hdfs连接器将数据写入HDFS

“storm-hdfs连接器”的源代码,可用于将数据写入HDFS。 github网址是: https://github.com/ptgoetz/storm-hdfs 有一个特殊的拓扑结构:“HdfsFileTopology”用于将'|'分隔数据写入HDFS。 link: https://github.com/ptgoetz/storm-hdfs/blob/master/src/test/ja

2046 2018-06-01 IT屋

分布式计算/Hadoop Hive 0.12.0 IncompatibleClassChangeError

我试图在我的单节点Hadoop安装上安装配置单元。我正在运行Mint 16.我试过安装Hive 0.12.0和0.13.0。我已将HIVE_HOME,HIVE_HOME / bin和HIVE_HOME / lib(并且没有lib)添加到我的路径中。每次我从终端运行配置单元时,我都会得到以下堆栈: 线程“main”中的异常java.lang.IncompatibleClassChangeErr

984 2018-06-01 IT屋