sqoop相关内容

Sqoop导入按列数据类型分割

sqoop import中Split by列的数据类型是否应该是一个数字数据类型(integer,bignint,numeric)?不能是字符串吗? 解决方案 是的,你可以分割任何非数字数据类型。 b 但不建议这样做。 为什么? 用于分割数据Sqoop触发 SELECT MIN(col1),MAX(col2)FROM TABLE 然后根据你的ma ..
发布时间:2018-06-12 13:43:23 其他开发

MySQL - Hive导入MySQL在Windows上运行,Hive在Cent OS上运行(Horton Sandbox)

在任何答复和评论之前。我尝试了几个在Stackoverflow中找到的选项,但以失败告终。以下是这些链接 - “使用sqoop-in-java-program”问题/ 22487688 / how-to-import-table-from-mysql-to-hive-using-java“>如何使用Java将表格从MySQL导入到Hive? 如何将SQL数据加载到Hortonworks? ..
发布时间:2018-06-12 13:42:08 Java开发

尝试读取表参数时,sqoop作业失败

我尝试将一些数据导入配置单元表,但我的sqoop作业失败 $ b sqoop import -libjars'/ var / lib / sqoop / DB2JccConfiguration.properties' --connect'jdbc:db2:// localhost / test;'--username'name' --password-file'pword'--num - ..
发布时间:2018-06-06 11:20:29 Java开发

auxService:mapreduce_shuffle不存在

当我尝试运行下面的命令时: #sqoop import --connect jdbc:mysql:// IP地址/数据库 - 用户名root - 密码PASSWORD - 表table_name - m 1 从mysql数据库到HDFS的数据,我收到错误: auxService:mapreduce_shuffle不存在。 搜索并浏 ..
发布时间:2018-06-06 11:19:52 数据库

重新解析存储在由Sqoop从Oracle导入的HDFS中的Blob数据

使用Sqoop我已经从一个有BLOB列的表中成功导入了几行。现在part-m-00000文件包含所有记录以及作为CSV的BLOB字段。 问题:根据文档,关于Sqoop特定格式的知识可以帮助读取这些blob记录。 那么,Sqoop特定的格式意味着什么? 2)基本上,blob文件是一个文本文件的.gz文件,其中包含一些浮点数据。这些.gz文件作为blob存储在Oracle数据库中,并使用 ..
发布时间:2018-06-06 11:18:59 其他开发

从hdfs到oracle的sqoop导出错误

使用的命令: sqoop export --connect jdbc:oracle:thin:@ // xxx:1521 / BDWDEV4 - -username xxx --password xxx --table TW5T0 --export-dir'/ data / raw / oltp / cogen / oraclexport / TW5T0 / 2015-08-18'-m ..
发布时间:2018-06-06 11:17:46 数据库

将Sqoop导入为OrC文件

sqoop中有任何选项可以从RDMS导入数据并将其作为ORC文件格式存储在HDFS中? 尝试的替代方法:导入为文本格式并使用临时文件表读取输入为文本文件并将hdfs写入配置单元中的orc 至少在Sqoop 1.4.5中存在hcatalog整合,支持orc文件格式(等)。 例如,您可以选择 - hcatalog-storage-stanza 可以设置为 ..
发布时间:2018-06-06 11:05:26 其他开发

如何访问Hive& Hive中的HBase表反之亦然?

作为开发人员,我通过使用 sqoop job 从现有MySQL表导入数据,为我们的项目创建了HBase表。问题是我们的数据分析师团队熟悉MySQL语法,意味着他们可以很容易地查询 HIVE 表。对他们来说,我需要暴露HIVE中的HBase表。我不想通过在HIVE中重新填充数据来复制数据。 我可以在HIVE 中公开HBase表而不重复数据吗??如果是的话,我该怎么做?另外,如果我的HBase表中的插 ..
发布时间:2018-06-05 13:23:47 其他开发

将HBase表导出到mysql

我使用hbase-0.90.6。我想将数据从HBase导出到mysql。我知道两步过程,首先通过运行mapreduce作业将Hbase数据拉入平面文件,然后将平面文件数据导入到mysql中。 是他们的其他工具我可以用这两步来减少这一步。或者我们可以使用sqoop在一个步骤中执行相同的操作。谢谢。 解决方案 恐怕Sqoop目前不支持直接从HBase导出。 Sqoop可以通过第二步在两步 ..
发布时间:2018-06-05 13:23:07 数据库

Sqoop导入 - 源表模式更改

假设在任何关系数据库中都有一个名为T1的表,其中包含100列以上的表。我将sqoop作为CSV导入到HDFS中。 现在,表格T1中增加了10列。如果我将这些数据导入到HDFS中,新数据将会有比以前多10个列。 问题: sqoop如何排序正在导入的列,以便旧数据和新数据(至少在T1中更改之前的列)处于正确的位置? 如果某列被删除会怎么样?如何处理这种情况,即旧数据和新数据如何保留位 ..
发布时间:2018-06-01 12:48:46 分布式计算/Hadoop

通过Sqoop将序列文件导出到Oracle

我一直在试图找到一些关于如何使用Sqoop将序列文件导出到Oracle的文档。这是可能的吗? 目前我有我的文件(在HDFS中)以基于文本的格式,我使用Sqoop将这些文件导出到Oracle的某些表并且工作正常。现在我想将文件的格式从文本更改为序列文件或其他内容(Avro稍后)。那么,如果我想使用Sqoop将不同文件格式从HDFS导出到Oracle,我需要做什么? 任何信息都将得到高度赞 ..
发布时间:2018-06-01 12:45:47 数据库

Sqoop导出插入重复条目

我试图了解sqoop导出是如何工作的。我在mysql中有一个表格站点,它包含两列id和url,并包含两行 1,www.yahoo.com 2,www.gmail.com 表没有主键 当我通过执行下面的命令将条目从HDFS导出到mysql站点表时,它插入重复条目 我在HDFS中有以下项目 1,www.one.com 2 ,www.2.com ..

Sqoop函数'--map-column-hive'被忽略

我试图将文件导入配置单元中,并且--map-column-hive column_name = timestamp被忽略。列'column_name'最初是在sql中键入datetime,并将其转换为parquet中的bigint。我想通过sqoop将它转换为时间戳格式,但它不起作用。 sqoop import \ --table table_name \ --driver ..
发布时间:2018-06-01 12:43:16 分布式计算/Hadoop

Sqoop - 日期 - 时间戳

我试图将Oracle中的数据转换为Hadoop。 在Oracle方面,日期字段是格式为'10 / 01/2015 12:00:00 AM'的时间戳。我如何在月,日和年过滤器? 过滤器中不需要小时和分钟,但是加载到HDFS中的数据需要具有10/01/2015 12:00:00 AM格式。任何想法?我看着其他的计算器,没有找到它的格式。谢谢!! 请参阅下面的代码。我没有得到任何结果。 ..
发布时间:2018-06-01 12:36:06 分布式计算/Hadoop

Sqoop和Java 7

我试图使用sqoop将一个MySQL表导入HDFS。我正在使用JDK 1.7.0_45和CDH4.4。我实际上使用了cloudera的预建VM,不过我将JDK更改为1.7,因为我想使用pydev插件进行eclipse。我的sqoop版本是1.4.3-cdh4.4.0。 当我运行sqoop时,出现以下异常: 错误:商品:不支持major.minor版本51.0 过去我看到过这个错误 ..
发布时间:2018-06-01 12:34:25 分布式计算/Hadoop