sqoop相关内容

Sqoop 增量导入

需要有关 Sqoop 增量导入的建议.假设我有一个客户在第 1 天使用策略 1，我在第 1 天将这些记录导入 HDFS，我在部件文件中看到它们. 在第 2 天，同一个客户添加了策略 2，并且在增量导入 sqoop 运行后，我们是否只会在零件文件中获得新记录?在这种情况下，如何使用 Sqoop 获取旧的和增量的附加/最后修改的记录? 解决方案 考虑一个你已经使用 sqoop 导入到 hdf ..
发布时间：2021-08-27 19:40:34 其他开发

使用密码文件选项的 sqoop 和密码加密

我正在使用 sqoop-1.4.3-cdh4.6.0.jar，我想知道 --password-file 选项在那个版本中是否可用.如果是的话，有人能给我一个如何调用加密过程的例子吗?提供一个命令示例，可以看到cdh4.6.0已经引入了补丁，但不确定sqoop 1.4.3是否可以使用. 解决方案 鉴于 https://issues.apache.org/jira/browse/SQOOP-1 ..
发布时间：2021-08-27 19:40:31 其他开发

sqoop中的以下命令是什么?

谁能告诉我 --split-by 和边界查询在 sqoop 中有什么用? sqoop import --connect jdbc:mysql://localhost/my --username user --password 1234 --query 'select * from table where id=5 AND $CONDITIONS' --split-by table.id -- ..
发布时间：2021-08-27 19:40:28 其他开发

找不到 Sqoop jar 文件

我在使用 sqoop 导入命令时遇到以下错误:错误 security.UserGroupInformation: PriviledgedActionException as:SqoopUser (auth:SIMPLE) 原因:java.io.FileNotFoundException:文件不存在:hdfs://localhost:8020/home/SqoopUser/sqoop-1.4.3-c ..
发布时间：2021-08-27 19:40:25 其他开发

Sqoop 导入.可以执行多少个最大映射器

在 Sqoop 导入中可以执行多少个最大数量的映射器.此外，在使用 sqoop 导入时，是否有任何减速器正在运行的情况. 解决方案 1.Sqoop 导入中最多可以执行多少个 mapper? 增加映射器的数量会导致更多的并发数据传输任务，'可以'导致更快的工作完成. 它并不总是能更快地完成工作.同时增加映射器的数量，有一个点你会完全饱和你的数据库.增加映射器的数量超过这一点不会导 ..
发布时间：2021-08-27 19:40:22 其他开发

函数 min(uuid) 在 postgresql 中不存在

我使用 sqoop 将 Postgres 中的表导入到 hdfs.我的表有 uuid 字段作为主键，我的命令 sqoop 如下: sqoop import --connect 'jdbc:postgresql://localhost:5432/mydb' --username postgreuser --password 123456abcA --driver org.postgresql.Dr ..
发布时间：2021-06-18 20:49:12 其他开发

--query 下 $CONDITIONS 的目的是什么?

我使用的是 cloudera 快速入门版 CDH 5.7 我在终端窗口上使用了以下查询: sqoop 导入 \--connect "jdbc:mysql://quickstart.cloudera:3306/retail_db" \--username=retail_dba \--password=cloudera \--query="select * from orders join o ..
发布时间：2021-06-05 19:33:33 数据库

Sqoop:如何在Hive中将输入列名映射到其他列名?

在Sqoop命令行或Scoop API中，是否可以在输入列名和输出Hive列名之间进行映射? 例如: 输入SQL表:(名称STRING，电话为INT)->需要映射到->输出配置单元表:(ClientName STRING，PhoneNumber INT) 我必须这样做，因为Hive在表架构中不支持Unicode，并且无法解析西里尔字母列名称. 解决方案 您可以使用自由格式的查询 ..
发布时间：2021-05-14 19:08:01 其他开发

使用Sqoop导入时处理Hive表中的分区

我对sqoop导入实用程序有疑问.我知道我们可以运行"sqoop导入"并从RDBMS(在我的情况下为SQL Server)获取数据，然后将其直接放在配置单元表中(将动态创建). 我的问题是，如果需要的话，如何使用"sqoop import"实用程序在此配置单元表中创建分区(可能吗?). 完成"sqoop导入到Hive"之后，我总是看到未分区的Hive表.我的要求是在x，y，z列上有一个 ..
发布时间：2021-05-14 19:07:20 其他开发

fedora 15上出现sqoop安装错误

我正在尝试在计算机上安装sqoop，我从此处 并尝试通过此处 进行安装 因此，当我尝试以下命令时，出现如下错误 [root @ 065 local]#(cd/usr/local/& sudo tar \ -zxvf _ _) 错误 gzip:stdin: ..
发布时间：2021-05-13 20:21:04 其他开发

java.io.FileNotFoundException:文件不存在:hdfs://localhost:9000/home/hduser/sqoop/lib/hsqldb-1.8.0.10.jar

我基本上是一个mysql家伙，并且是hadoop的新手，并尝试通过sqoop并使用以下命令在我的hadoop系统上导入一个mysql表，但出现错误.我在网上搜索，但没有任何可能的解决方案. 非常感谢您的支持. [hduser @ localhost〜] $ sqoop-import --connect jdbc:mysql://192.168.12.172:3306/test --us ..
发布时间：2021-05-13 20:20:55 Java开发

Hadoop:sqoop:即使数据库存在，也会出现未知数据库“样本"错误

我正在使用 sqoop 做基本的尝试.我使用MySQL创建了一个数据库示例.我已经在“样本"数据库中创建了一个表客户，并将一些数据插入表中. 尝试使用sqoop将表导入到hdfs时，即使数据库存在，我也会得到未知数据库'sample'. 使用的sqoop命令: sqoop导入--connect"jdbc:mysql://localhost:3306/sample" --userna ..
发布时间：2021-05-13 20:19:14 其他开发

Google Dataproc到SQL Server(基于centos 7)的连接错误?

我陷入一个已经浪费了我3天时间的问题.我有一个dataproc群集1.5，我也确实在运行centos 7 OS的Google VM上设置了SQL Server.但是我无法从dataproc群集通过pyspark连接SQL Server.您可以在附件中找到错误快照.在SQL Server上禁用了SSL加密.我可以通过sqlcmd(安装在dataproc群集上)访问SQL Server，也可以通过da ..
发布时间：2021-04-28 20:25:16 数据库

带时间戳列的sqoop增量导入附加模式

有人可以帮助我解决sqoop增量中追加和上次修改模式之间的确切区别吗? 当可以通过追加模式(--check-column作为时间戳)完成相同的操作时，lastmodified的需求是什么，它的工作原理相同，也可以导入更新和插入的记录. 解决方案 模式:append可用于您知道最后一个值的列. 模式:lastmodified模式可用于时间戳列.可能很难记住上一个修改后的时间戳.如果您 ..
发布时间：2020-11-27 18:52:38 其他开发

禁用Oraoop进行Sqoop导入

我正在使用Hortonworks HDP沙箱，并且已按照说明安装了Oraoop，但是每当运行Sqoop导入时，都会收到消息"oracle.OraOopManagerFactory:Oracle和Hadoop的数据连接器已禁用.".我不确定要拿起它还需要做什么.我已验证oraoop驱动程序在我的sqoop lib目录中.导入确实可以，但是它们只是使用oracle驱动程序，我想体验一下Oraoop所提 ..
发布时间：2020-11-23 21:04:53 其他开发