sqoop相关内容
我正在尝试在ubuntu上安装MS SQL JDBC驱动程序,以便与Hadoop的SQOOP一起使用。我对Java和Linux完全陌生,所以我不确定要把所有东西解压缩到哪里。 推荐答案 只需将其放入运行时类路径或将其路径添加到运行时类路径即可。 如何执行取决于您如何执行程序。如果您在命令控制台中使用java命令来执行.class文件,则使用-cp参数来指定要在类路径中获取的类和/
..
我正在尝试创建一个 在特定队列中运行的 Sqoop 作业,但它不起作用. 我尝试了两件事: 1st:在作业创建中声明队列 sqoop 作业\--创建我的工作\- 进口 \--连接 jdbc:teradata://RCT/DATABASE=MYDB \-Dmapred.job.queue.name=shortduration \--driver com.teradata.jdbc.T
..
我在数据库 mytestdb 中在 postgres 中创建了一个名为 employees 的简单表 我想将此表导入 hdfs. bin/sqoop import --connect 'jdbc:postgresql://127.0.0.1/mytestdb' --username user -P --table employees --target-dir/user/postgres 但
..
我试图将retail_db 数据库表复制到我已经创建的hive 数据库中.当我执行以下代码时 sqoop import-all-tables \--num-mappers 1 \--connect "jdbc:mysql://quickstart.cloudera:3306/retail_db" \--username=retail_dba \--password=cloudera \--hiv
..
我正在尝试使用以下 Sqoop 命令将 BLOB(图像)数据表单 oracle 导入 Hive. sqoop import --connect jdbc:oracle:thin:@host --username --password --m 3 --table tablename --hive-drop-import-delims --hive-table tablename --目标目录 ''
..
谁能说出 create-hive-table 和 & 之间的区别?hive-import 方法?两者都会创建一个hive表,但每个的意义是什么? 解决方案 hive-import 命令: hive-import 命令会自动为 hive Metastore 中的填充表填充元数据.如果 Hive 中的表还不存在,Sqoop将简单地根据为您的表或查询获取的元数据创建它.如果该表已经存在,Sqo
..
我有一个基于 cdh5 的 hadoop ha 设置.我尝试使用 sqoop 从 mysql 导入表失败,并出现以下错误. 15/03/20 12:47:53 错误 manager.SqlManager:从数据库读取错误:java.sql.SQLException:流式结果集 com.mysql.jdbc.RowDataDynamic@33573e93 仍然处于活动状态.当任何流结果集打开并在给
..
在任何答案和评论之前.我尝试了在 Stackoverflow 中找到的几个选项,但以失败告终.以下是这些链接 - 如何在 Java 中执行 Sqoop? 如何在 Java 程序中使用 Sqoop? 如何将表从 MySQL 导入 Hive 使用Java? 如何将 SQL 数据加载到 Hortonworks? 我通过命令行在 Horton Sandbox 中尝试并成功. sqoop
..
我有以下用例: 我的应用程序在 RDBMS 数据库中有一个包含 多年数据 的表.我们使用 sqoop 将数据导入 HDFS 并加载到按年、月分区的 hive 表中. 现在,应用程序也会每天更新并将新记录插入到 RDBMS 表中.这些更新的记录可以跨越历史月份.更新的记录和新的插入记录可以通过更新的时间戳字段来确定(它将具有当前日期时间戳). 现在的问题是:如何使用这些更新的记录每
..
sqoop 导入中按列拆分的数据类型是否应该始终是数字数据类型(整数、bignint、数字)?不能是字符串吗? 解决方案 是的,您可以拆分任何非数字数据类型. 但不推荐这样做. 为什么? 用于拆分数据 Sqoop 触发 SELECT MIN(col1), MAX(col2) FROM TABLE 然后根据您的映射器数量对其进行划分. 现在以--split-by列
..
我在本地机器上安装了 Sqoop.以下是配置信息. Bash.bashrc: export HADOOP_HOME=/home/hduser/hadoop导出 HBASE_HOME=/home/hduser/hbase导出 HIVE_HOME=/home/hduser/hiveexport HCAT_HOME=/home/hduser/hive/hcatalog导出 SQOOP_HOME=
..
我有一个基于 cloudera 的 6 节点 hadoop 集群,我正在尝试从 oozie 中的 sqoop 操作连接到 oracle 数据库. 我已将我的 ojdbc6.jar 复制到 sqoop lib 位置(对我来说恰好位于:/opt/cloudera/parcels/CDH-4.2.0-1.cdh4.2.0.p0.10/lib/sqoop/lib/) 在所有节点上,并已验证我可以从所
..
我创建了一个新的 Java 项目,然后添加了 Library Sqoop 和 Hadoop.(库是“hadoop-core-1.1.1.jar、sqoop-1.4.2.jar 等......".) 然后我尝试了以下代码: 公共类 MySqoopDriver {公共静态无效主(字符串 [] args){String[] str = { "export", "--connect", "jdbc
..
我正在尝试将 Teradata 中的数据 Sqoop 到 hive.我想到了以下步骤: 1) 创建一个 Hive 表,其中包含 Hue 中的所有必填字段. 2) 通过使用 Sqoop 导入命令和 --map-column-hive 属性将数据从 Teradata 加载到 hive. 如何从Sqoop导入命令中指向已经创建好的Hive表,让Sqooped的数据放到对应的Hive表中?
..
Sqoop 能够使用 --query 子句从多个表中导入数据,但不清楚是否能够导入下面的查询. 选择deptid, avg(salary) from emp group by deptid 另一个问题是 sqoop import --connect jdbc:mysql://myserver:1202/--username=u1--password=p1 --query 'Sel
..
我是 hadoop 的新手,现在我正在使用单个 sqoop 操作测试简单的工作流程.如果我使用普通值 - 而不是全局属性,它会起作用. 然而,我的目标是在全局部分的 job-xml 标记中引用的文件中定义一些全局属性. 经过长时间的斗争和阅读了很多文章,我仍然无法让它工作.我怀疑一些简单的事情是错误的,因为我发现一些文章表明此功能可以正常工作. 希望你能给我一个提示. 简而
..
堆栈:使用 Ambari 2.1 安装 HDP-2.3.2.0-2950 源数据库架构在 sql server 上,它包含几个表,它们的主键为: 一个varchar 复合 - 两个 varchar 列或一个 varchar + 一个 int 列或两个 int 列.有一张大桌子吗?具有三个的行PK 中的列一个 int + 两个 varchar 列 根据 Sqoop 文档: Sq
..
我知道如何通过命令行使用 sqoop.但是不知道如何使用java程序调用sqoop命令.谁能给出一些代码视图? 解决方案 通过在类路径中包含 sqoop jar 并调用 Sqoop.runTool() 方法,您可以从 Java 代码内部运行 sqoop.您必须像命令行一样以编程方式创建 sqoop 所需的参数(例如 --connect 等). 请注意以下事项: 确保 sqoop
..
如何在 hive 中处理这个 XML 文件,我只想要输出中的 USERNAME 和 PASSWORD
..
我们目前在 10 节点集群上使用 hadoop-2.8.0,并计划升级到最新的 hadoop-3.0.0. 我想知道如果我们将 hadoop-3.0.0 与旧版本的 Spark 和其他组件(例如 Hive、Pig 和 Sqoop)一起使用会不会有任何问题. 解决方案 最新Hive版本不支持Hadoop3.0,看来以后Hive可能会建立在Spark或其他计算引擎上.
..