我在ubuntu上哪里安装JDBC驱动程序？
我正在尝试在ubuntu上安装MS SQL JDBC驱动程序，以便与Hadoop的SQOOP一起使用。我对Java和Linux完全陌生，所以我不确定要把所有东西解压缩到哪里。 推荐答案 只需将其放入运行时类路径或将其路径添加到运行时类路径即可。 如何执行取决于您如何执行程序。如果您在命令控制台中使用java命令来执行.class文件，则使用-cp参数来指定要在类路径中获取的类和/
..
sqoop相关内容
在特定队列上运行 sqoop 作业
我正在尝试创建一个 在特定队列中运行的 Sqoop 作业，但它不起作用. 我尝试了两件事: 1st:在作业创建中声明队列 sqoop 作业\--创建我的工作\- 进口 \--连接 jdbc:teradata://RCT/DATABASE=MYDB \-Dmapred.job.queue.name=shortduration \--driver com.teradata.jdbc.T
..
PostgreSQL - 致命:用户的身份验证失败
我在数据库 mytestdb 中在 postgres 中创建了一个名为 employees 的简单表 我想将此表导入 hdfs. bin/sqoop import --connect 'jdbc:postgresql://127.0.0.1/mytestdb' --username user -P --table employees --target-dir/user/postgres 但
..
使用 sqoop 导入 Hive 时获取文件存在错误
我试图将retail_db 数据库表复制到我已经创建的hive 数据库中.当我执行以下代码时 sqoop import-all-tables \--num-mappers 1 \--connect "jdbc:mysql://quickstart.cloudera:3306/retail_db" \--username=retail_dba \--password=cloudera \--hiv
..
将 BLOB(图像)从 oracle 导入到 hive
我正在尝试使用以下 Sqoop 命令将 BLOB(图像)数据表单 oracle 导入 Hive. sqoop import --connect jdbc:oracle:thin:@host --username --password --m 3 --table tablename --hive-drop-import-delims --hive-table tablename --目标目录 ''
..
何时使用 Sqoop --create-hive-table
谁能说出 create-hive-table 和 & 之间的区别?hive-import 方法?两者都会创建一个hive表，但每个的意义是什么? 解决方案 hive-import 命令: hive-import 命令会自动为 hive Metastore 中的填充表填充元数据.如果 Hive 中的表还不存在，Sqoop将简单地根据为您的表或查询获取的元数据创建它.如果该表已经存在，Sqo
..
mysql 的 sqoop 导入问题
我有一个基于 cdh5 的 hadoop ha 设置.我尝试使用 sqoop 从 mysql 导入表失败，并出现以下错误. 15/03/20 12:47:53 错误 manager.SqlManager:从数据库读取错误:java.sql.SQLException:流式结果集 com.mysql.jdbc.RowDataDynamic@33573e93 仍然处于活动状态.当任何流结果集打开并在给
..
Java - MySQL 到 Hive 导入，其中 MySQL 在 Windows 上运行，Hive 在 Cent OS(Horton Sandbox)上运行
在任何答案和评论之前.我尝试了在 Stackoverflow 中找到的几个选项，但以失败告终.以下是这些链接 - 如何在 Java 中执行 Sqoop? 如何在 Java 程序中使用 Sqoop? 如何将表从 MySQL 导入 Hive 使用Java? 如何将 SQL 数据加载到 Hortonworks? 我通过命令行在 Horton Sandbox 中尝试并成功. sqoop
..
Hive 中的增量/增量负载
我有以下用例: 我的应用程序在 RDBMS 数据库中有一个包含 多年数据 的表.我们使用 sqoop 将数据导入 HDFS 并加载到按年、月分区的 hive 表中. 现在，应用程序也会每天更新并将新记录插入到 RDBMS 表中.这些更新的记录可以跨越历史月份.更新的记录和新的插入记录可以通过更新的时间戳字段来确定(它将具有当前日期时间戳). 现在的问题是:如何使用这些更新的记录每
..
Sqoop导入按列数据类型拆分
sqoop 导入中按列拆分的数据类型是否应该始终是数字数据类型(整数、bignint、数字)?不能是字符串吗? 解决方案 是的，您可以拆分任何非数字数据类型. 但不推荐这样做. 为什么? 用于拆分数据 Sqoop 触发 SELECT MIN(col1), MAX(col2) FROM TABLE 然后根据您的映射器数量对其进行划分. 现在以--split-by列
..
Sqoop:无法加载 mysql 驱动程序异常
我在本地机器上安装了 Sqoop.以下是配置信息. Bash.bashrc: export HADOOP_HOME=/home/hduser/hadoop导出 HBASE_HOME=/home/hduser/hbase导出 HIVE_HOME=/home/hduser/hiveexport HCAT_HOME=/home/hduser/hive/hcatalog导出 SQOOP_HOME=
..
Oozie + Sqoop:JDBC 驱动程序 Jar 位置
我有一个基于 cloudera 的 6 节点 hadoop 集群，我正在尝试从 oozie 中的 sqoop 操作连接到 oracle 数据库. 我已将我的 ojdbc6.jar 复制到 sqoop lib 位置(对我来说恰好位于:/opt/cloudera/parcels/CDH-4.2.0-1.cdh4.2.0.p0.10/lib/sqoop/lib/) 在所有节点上，并已验证我可以从所
..
如何在 Java 中执行 Sqoop?
我创建了一个新的 Java 项目，然后添加了 Library Sqoop 和 Hadoop.(库是“hadoop-core-1.1.1.jar、sqoop-1.4.2.jar 等......".) 然后我尝试了以下代码: 公共类 MySqoopDriver {公共静态无效主(字符串 [] args){String[] str = { "export", "--connect", "jdbc
..
如何将 Sqoop 导入命令与 --map-column-hive 一起使用?
我正在尝试将 Teradata 中的数据 Sqoop 到 hive.我想到了以下步骤: 1) 创建一个 Hive 表，其中包含 Hue 中的所有必填字段. 2) 通过使用 Sqoop 导入命令和 --map-column-hive 属性将数据从 Teradata 加载到 hive. 如何从Sqoop导入命令中指向已经创建好的Hive表，让Sqooped的数据放到对应的Hive表中?
..
Sqoop - 数据拆分
Sqoop 能够使用 --query 子句从多个表中导入数据，但不清楚是否能够导入下面的查询. 选择deptid, avg(salary) from emp group by deptid 另一个问题是 sqoop import --connect jdbc:mysql://myserver:1202/--username=u1--password=p1 --query 'Sel
..
OOZIE:在全局作业 xml 中引用的文件中定义的属性在工作流.xml 中不可见
我是 hadoop 的新手，现在我正在使用单个 sqoop 操作测试简单的工作流程.如果我使用普通值 - 而不是全局属性，它会起作用. 然而，我的目标是在全局部分的 job-xml 标记中引用的文件中定义一些全局属性. 经过长时间的斗争和阅读了很多文章，我仍然无法让它工作.我怀疑一些简单的事情是错误的，因为我发现一些文章表明此功能可以正常工作. 希望你能给我一个提示. 简而
..
Sqoop 导入:复合主键和文本主键
堆栈:使用 Ambari 2.1 安装 HDP-2.3.2.0-2950 源数据库架构在 sql server 上，它包含几个表，它们的主键为: 一个varchar 复合 - 两个 varchar 列或一个 varchar + 一个 int 列或两个 int 列.有一张大桌子吗?具有三个的行PK 中的列一个 int + 两个 varchar 列 根据 Sqoop 文档: Sq
..
如何在 Java 程序中使用 Sqoop?
我知道如何通过命令行使用 sqoop.但是不知道如何使用java程序调用sqoop命令.谁能给出一些代码视图? 解决方案 通过在类路径中包含 sqoop jar 并调用 Sqoop.runTool() 方法，您可以从 Java 代码内部运行 sqoop.您必须像命令行一样以编程方式创建 sqoop 所需的参数(例如 --connect 等). 请注意以下事项: 确保 sqoop
..
如何在 hive 中处理 XML 文件
如何在 hive 中处理这个 XML 文件，我只想要输出中的 USERNAME 和 PASSWORD
..
Hadoop-3.0.0 与旧版本的 Hive、Pig、Sqoop 和 Spark 的兼容性如何
我们目前在 10 节点集群上使用 hadoop-2.8.0，并计划升级到最新的 hadoop-3.0.0. 我想知道如果我们将 hadoop-3.0.0 与旧版本的 Spark 和其他组件(例如 Hive、Pig 和 Sqoop)一起使用会不会有任何问题. 解决方案 最新Hive版本不支持Hadoop3.0，看来以后Hive可能会建立在Spark或其他计算引擎上.
..