apache-sqoop相关内容

Hadoop:读取ORC文件并放入RDBMS?

我有一个以ORC文件格式存储的配置表。我想将数据导出到Teradata数据库。我研究了sqoop,但找不到导出ORC文件的方法。 是否有办法让ORC的sqoop工作?或者有没有其他工具可以用来导出数据? 谢谢。 解决方案 您可以使用Hcatalog $ b $ sqoop export --connect“jdbc:sqlserver:// xxxx:1433; database ..
发布时间:2018-06-12 14:07:45 其他开发

如何访问Hive& Hive中的HBase表反之亦然?

作为开发人员,我通过使用 sqoop job 从现有MySQL表导入数据,为我们的项目创建了HBase表。问题是我们的数据分析师团队熟悉MySQL语法,意味着他们可以很容易地查询 HIVE 表。对他们来说,我需要暴露HIVE中的HBase表。我不想通过在HIVE中重新填充数据来复制数据。 我可以在HIVE 中公开HBase表而不重复数据吗??如果是的话,我该怎么做?另外,如果我的HBase表中的插 ..
发布时间:2018-06-05 13:23:47 其他开发

Sqoop导出插入重复条目

我试图了解sqoop导出是如何工作的。我在mysql中有一个表格站点,它包含两列id和url,并包含两行 1,www.yahoo.com 2,www.gmail.com 表没有主键 当我通过执行下面的命令将条目从HDFS导出到mysql站点表时,它插入重复条目 我在HDFS中有以下项目 1,www.one.com 2 ,www.2.com ..

Sqoop函数'--map-column-hive'被忽略

我试图将文件导入配置单元中,并且--map-column-hive column_name = timestamp被忽略。列'column_name'最初是在sql中键入datetime,并将其转换为parquet中的bigint。我想通过sqoop将它转换为时间戳格式,但它不起作用。 sqoop import \ --table table_name \ --driver ..
发布时间:2018-06-01 12:43:16 分布式计算/Hadoop

Sqoop - 日期 - 时间戳

我试图将Oracle中的数据转换为Hadoop。 在Oracle方面,日期字段是格式为'10 / 01/2015 12:00:00 AM'的时间戳。我如何在月,日和年过滤器? 过滤器中不需要小时和分钟,但是加载到HDFS中的数据需要具有10/01/2015 12:00:00 AM格式。任何想法?我看着其他的计算器,没有找到它的格式。谢谢!! 请参阅下面的代码。我没有得到任何结果。 ..
发布时间:2018-06-01 12:36:06 分布式计算/Hadoop

Sqoop - 数据分割

Sqoop能够使用 - query 子句从多个表中导入数据,但不清楚它是否能够导入下面的查询。 通过deptid从emp group中选择deptid,avg(salary) 另一个问题是 sqoop import --connect jdbc:mysql:// myserver:1202 / --username = u1 --password = p1 --query'Se ..
发布时间:2018-05-31 18:25:53 分布式计算/Hadoop

sqoop进口eror - 文件不存在:

我试图用Sqoop从MySQL数据导入到HDFS。但我得到以下错误。 如何解决此问题? 命令: sqoop进口--connect的jdbc:mysql的://本地主机/ TESTDB --username根--password密码--table学生--m 1 错误:错误tool.ImportTool:遇到IOException异常运行导入作业:java.io.FileNotFoundE ..
发布时间:2016-05-21 14:05:30 服务器开发