sqoop无法将增量状态存储到元存储
我在保存增量导入状态时得到了这个 16/05/15 21:43:05 INFO tool.ImportTool: Saving incremental import state to the metastore 16/05/15 21:43:56 ERROR tool.ImportTool: Encountered IOException running import job: java.i
..
sqoop相关内容
OOZIE:JA009:RPC响应超出最大数据长度
OOZIE字数示例给出了JA009:RPC响应超出了最大数据长度.我们已经将ipc.maximum.data.length加倍，并重新启动了NameNode. 2018-12-05 17:55:45,914 WARN MapReduceActionExecutor:523 - SERVER[******] USER[******] GROUP[-] TOKEN[] APP[map-redu
..
Sqoop-绑定到YARN队列
因此，通过mapreduce v2，您可以使用对某些YARN队列的绑定来管理资源和优先级. 基本上使用 完美运行的"hadoop jar/xyz.jar -D mapreduce.job.queuename = QUEUE1/input/output". 在运行sqoop查询时，如何将Yarn队列绑定与Sqoop集成在一起? 即. sqoop import \ --connect
..
sqoop是否像在数据库中一样保留导入行的顺序
我正在将表从oracle database扩展到AWS S3&然后在其上创建一个hive表. 导入数据后，数据库中存在的记录顺序是否保留在hive表中? 我想从数据库以及使用Java JDBC的配置单元中获取几百行，然后比较ResultSet中存在的每一行.假设我没有主键，我是否可以比较两个ResultSets中出现的行(依次使用resultSet.next())或由于并行导入而更改顺
..
如何通过OOZIE为SQOOP提供密码以连接到MS-SQL?
我正在使用SQOOP将信息从HDFS导出到MS-SQL.我正在通过OOZIE运行SQOOP.现在，我已经为OOZIE工作流程中的jdbc连接对uid(即pwd)进行了硬编码.切换到产品后，我将无法执行此操作.在这种情况下传递身份验证信息的最佳方法是什么? $
..
如何使用sqoop import支持带空格的列名?
我们有一个MSSQL DB设置，其列名分别为"Column 0"和"Column 1":注意空格. 如果我运行以下命令，则会出错: sqoop导入--driver net.sourceforge.jtds.jdbc.Driver --connect jdbc:jtds:sqlserver://somemssqldb.com/OurDB --table dbo.OurTableName
..
与jbpc相比，为什么spark比sqoop慢?
可以理解，在从oracle db迁移/加载到hdfs/parquet时，最好使用SQOOP而不是带有JDBC驱动程序的SPARK. 当处理正确时，火花应该快100倍吗? 那么Spark有什么问题呢? 为什么人们在从oracle数据库表中加载数据时更喜欢SQOOP? 请建议我从甲骨文加载数据时，我应该怎么做才能使Spark更快. 解决方案 当知道如何并行化查询时，Spark很快.
..
在RDBMS中没有主键的sqoop导入
我可以使用sqoop将RDBMS表数据（表没有主键）导入配置单元吗？如果是，那么请你给sqoop import命令。 我尝试过sqoop import general命令，但是失败了。 提前致谢。 PK 解决方案 如果您的表没有定义主键，那么您必须提供 -m 1 选项以导入数据，或者您必须提供 - split-by 参数一些列名，否则会给出错误： 错误tool.Im
..
将BLOB（图像）从oracle导入配置单元
sqoop import - 使用下面的Sqoop命令来导入BLOB（Image）连接jdbc：oracle：thin：@host --username --password --m 3 --table tablename --hive-drop-import-delims --hive-table tablename --target-dir''--split-by ID;
..
Sqoop“导入所有表格”无法导入所有表格
这是我用来将数据从SQL Server导入到Hive的sqoop命令 sqoop-import-all-tables --connect“jdbc：sqlserver：// ip.ip.ip.ip\MIGERATIONSERVER; port = 1433; username = sa; password = blablaq; database = sqlserverdb“--create-
..
oozie与配置单元导入的sqoop动作
我有一个sqoop操作，它从postgres数据库中提取数据，然后导入配置单元表。当我执行oozie工作流时，scoop将来自postgres的数据拖入HDFS。但它无法将数据导入配置单元表。日志没有任何用处，因为我只是获取Main类[org.apache.oozie.action.hadoop.SqoopMain]，从oozie Web控制台UI中退出代码[1]。我们实际上可以在sqoop动作中
..
通过sqoop将数据从配置单元hadoop保存到mysql？
我将数据存储到配置单元表中。 我希望使用sqoop将选定数据传送到mysql表。 请指导我如何做到这一点？ 解决方案 查看sqoop指南这里
..
Sqoop将新添加的列导入到mysql表到现有的配置单元表中
id姓名地址 1 Km sky 2 hd heaven 3 Ab null 4 en null 现在我完成了sqoop导入如下 sqoop导入 - 连接jdbc：mysql：// XXXXXX /测试 - 用户名XXXX - 密码XXXX --query“select * from testing.test where \ $ CONDITIONS”-
..
如果“NULL”然后在shell脚本中使用0
我使用shell脚本查询配置单元表 last_val =“`hive -e”select max（id ）从$ {hivedatabase}。$ {table}“`” echo var1 =“$ last_val” 当last_val =“NULL”时，我希望last_val为零 我已经尝试过，但仍然是空的 函数值 { if [ $ last
..
Hadoop：读取ORC文件并放入RDBMS？
我有一个以ORC文件格式存储的配置表。我想将数据导出到Teradata数据库。我研究了sqoop，但找不到导出ORC文件的方法。 是否有办法让ORC的sqoop工作？或者有没有其他工具可以用来导出数据？ 谢谢。 解决方案 您可以使用Hcatalog $ b $ sqoop export --connect“jdbc：sqlserver：// xxxx：1433; database
..
将Sqoop导入HCatalog / Hive - 表不可见
使用Ambari 2.2.2.0安装HDP-2.4.2.0-258 我必须导入几个SQL Server架构，这些架构应该可以通过Hive，Pig，MR和任何第三方（将来）。我决定导入HCatalog。 Sqoop提供了导入到Hive或HCatalog的方法，我想如果导入到HCatalog，可以从Hive CLI访问同一个表，到MR和猪（请评估我的假设）。 问题： 如果直接导
..
sqoop无法用点导入表
我尝试导入一个名为dot的表，并且sqoop向我发送schema不存在 sqoop-import --connect jdbc：postgresql：//db.xxxxxxxx：5432 / production --driver org.postgresql.Driver --username xxxx --password xxxx --connection-manager org.a
..
Sqoop导入替换mysql的特殊字符
我有1000个表，每个表中有超过100000条记录的mysql。这些表格有300-500列。 一些表格的列名称中包含特殊字符，如。（点）和空格。 现在我想要执行sqoop导入，并在HDFS中创建一个配置单元表，如下所示： sqoop import --connect $ {domain}：$ {port} / $（database）--username $ {username}
..
sqoop如何将sql数据类型转换为配置单元
我需要在sqoop中转换为配置单元的SQL Server数据类型的完整列表。 像SQL Server的 timestamp 转换为hive string ，SQL Server varchar 转换为配置单元字符串等。 在哪里可以找到这个完整的映射？ 解决方案 对于Java映射 SELECT * FROM WHERE 1 = 0
..
何时使用Sqoop --create-hive-table
任何人都可以区分 create-hive-table & hive-import 方法？两者都会创建一个配置单元表，但每个单元的意义仍然是什么？ 解决方案 hive-import hive-import 命令会自动为hive Metastore中的填充表填充元数据。如果Hive中的表尚不存在，则Sqoop 将根据为您的表或查询获取的元数据来创建它。如果表已经存在，Sqoop会将数据导入到
..