hcatalog相关内容

Hadoop - 使用 PIG 加载 Hive 表

我想使用 Pig 加载 Hive 表.我认为我们可以通过 HCatLoader 做到这一点,但我使用 xml 文件来加载 pig.为此,我必须使用 XMLLoader.我可以使用两个选项在 Pig 中加载 XML 文件吗? 我正在使用我自己的 UDF 从 XML 文件中提取数据,一旦我们提取了所有数据,我必须将 Pig 数据加载到 Hive 表中. 我无法使用 HIVE 提取 XML ..
发布时间:2021-11-12 04:19:29 其他开发

运行 HCatalog 时出错

A = LOAD 'eventnew.txt' USING HCatalogLoader(); 2015-07-08 19:56:34,875 [main] 错误 org.apache.pig.tools.grunt.Grunt - 错误 1070:无法使用导入解析 HCatalogLoader:[、java.lang.、org.apache.pig.builtin., org.apache.p ..
发布时间:2021-11-12 04:11:30 其他开发

Pig 未将数据加载到 HCatalog 表中 - HortonWorks Sandbox

我正在 HortonWorks 虚拟机中运行 Pig 脚本,目的是提取 XML 数据集的某些部分,并将这些部分加载到 HCatalog 表的列中.在我的本地机器上,我在 XML 文件上运行我的 Pig 脚本并获得一个包含所有提取部分的输出文件.但是,出于某种原因,当我在 HortonWorks VM 中运行相同的脚本时,该脚本似乎运行成功,但 HCatalog 表仍然为空. 这是我的本地脚本 ..
发布时间:2021-11-12 04:11:12 其他开发

Pig 未将数据加载到 HCatalog 表中 - HortonWorks Sandbox

我正在 HortonWorks 虚拟机中运行 Pig 脚本,目的是提取 XML 数据集的某些部分,并将这些部分加载到 HCatalog 表的列中.在我的本地机器上,我在 XML 文件上运行我的 Pig 脚本并获得一个包含所有提取部分的输出文件.但是,出于某种原因,当我在 HortonWorks VM 中运行相同的脚本时,该脚本似乎运行成功,但 HCatalog 表仍然为空. 这是我的本地脚本 ..
发布时间:2021-11-12 04:10:31 其他开发

类型转换猪目录

我使用 HCatalog 0.4 版.我在 hive 'abc' 中有一个表,它有一个数据类型为 'timestamp' 的列.当我尝试运行像这样的猪脚本“raw_data = load 'abc' using org.apache.hcatalog.pig.HCatLoader();"我收到一条错误消息,指出“java.lang.TypeNotPresentException:类型时间戳不存在" ..
发布时间:2021-11-12 04:08:09 其他开发

Hive-Varchar vs String,如果存储格式为Parquet文件格式,有什么好处吗?

我有一个HIVE表,该表将保存数十亿条记录,它是一个时间序列数据,因此分区是每分钟一次.每分钟我们将有大约100万条记录. 我表中的字段很少,VIN码(17个字符),Status(2个字符)...等等 所以我的问题是在表创建期间,如果我选择使用Varchar(X)vs String,是否存在任何存储或性能问题, varchar的一些限制是 https://cwiki.apache ..
发布时间:2020-06-18 18:32:06 其他开发

猪未将数据加载到HCatalog表中-HortonWorks Sandbox

我正在HortonWorks虚拟机中运行Pig脚本,目的是提取XML数据集的某些部分,并将这些部分加载到HCatalog表中的列中.在本地计算机上,我在XML文件上运行Pig脚本,并获得包含所有提取部分的输出文件.但是,由于某种原因,当我在HortonWorks VM中运行相同的脚本时,该脚本似乎已成功运行,但是HCatalog表仍然为空. 这是我的本地脚本: REGISTER pi ..
发布时间:2020-06-18 18:32:02 其他开发

Hive 0.13外部表动态分区自定义模式

根据文档,您应该能够为分区指定一个自定义模式 Hive外部表分区。但是,我无法实现它: select * from rawlog_test7 limit 10; 不会返回记录。 这就是我在做的事情 $ b $ pre $ set hcat.dynamic.partitioning.custom.pattern =“$ {year} / $ {month} / $ {day} / $ { ..
发布时间:2018-06-12 14:17:33 其他开发

将Sqoop导入HCatalog / Hive - 表不可见

使用Ambari 2.2.2.0安装HDP-2.4.2.0-258 我必须导入几个SQL Server架构,这些架构应该可以通过Hive,Pig,MR和任何第三方(将来)。我决定导入HCatalog。 Sqoop提供了导入到Hive或HCatalog的方法,我想如果导入到HCatalog,可以从Hive CLI访问同一个表,到MR和猪(请评估我的假设)。 问题: 如果直接导 ..
发布时间:2018-06-12 14:07:09 其他开发

类型转换猪hcatalog

我使用HCatalog版本0.4。我在hive'abc'中有一个表,它有一个数据类型为'timestamp'的列。当我尝试使用org.apache.hcatalog.pig.HCatLoader()来运行这样的“raw_data = load'abc'”猪脚本时“我得到一个错误说“java.lang.TypeNotPresentException:输入时间戳不存在”。 解决方案 问题是,h ..
发布时间:2018-06-12 13:55:20 其他开发

通过Sqoop将序列文件导出到Oracle

我一直在试图找到一些关于如何使用Sqoop将序列文件导出到Oracle的文档。这是可能的吗? 目前我有我的文件(在HDFS中)以基于文本的格式,我使用Sqoop将这些文件导出到Oracle的某些表并且工作正常。现在我想将文件的格式从文本更改为序列文件或其他内容(Avro稍后)。那么,如果我想使用Sqoop将不同文件格式从HDFS导出到Oracle,我需要做什么? 任何信息都将得到高度赞 ..
发布时间:2018-06-01 12:45:47 分布式计算/Hadoop

Hadoop - 使用PIG加载Hive表

我想使用Pig加载Hive表。我认为我们可以通过 HCatLoader 来实现,但我使用xml文件加载猪。为此,我必须使用 XMLLoader 。我可以使用两个选项来加载Pig中的XML文件。 我使用自己的UDF从XML文件中提取数据,一旦我们提取所有数据,我必须加载Hive表格中的猪数据。 我不能使用HIVE来提取XML数据,因为我收到的XML非常复杂,我写了自己的UDF来解析XML ..
发布时间:2018-06-01 12:40:33 分布式计算/Hadoop

在运行HCatalog时出错

A = LOAD'eventnew.txt'USING HCatalogLoader(); 2015-07-08 19:56:34,875 [main] ERROR org.apache.pig.tools.grunt.Grunt - 错误1070:无法使用导入来解析HCatalogLoader:[,java.lang。,org.apache.pig.builtin。, ..
发布时间:2018-05-31 19:52:48 分布式计算/Hadoop

Hive错误:parseexception缺少EOF

我不确定我在这里做错了什么: hive> CREATE TABLE default.testtbl(int1 INT,string1 STRING) 存储为orc tblproperties(“orc.compress”=“NONE”) LOCATION“/ user / hive / test_table”; 失败:ParseException第1行:107在'LOCATIO ..
发布时间:2018-05-31 19:51:58 分布式计算/Hadoop

如何设置hadoop mapreduce / yarn中的VCORES?

以下是我的配置: ** mapred-site.xml ** map-mb: 4096 opts:-Xmx3072m reduce-mb:8192 opts:-Xmx6144m ** yarn-site.xml ** 资源内存-mb:40GB min分配-mb:1GB hadoop集群中的Vcores显示8GB,但我不知道计算或其中的位置 ..
发布时间:2018-05-31 19:12:04 分布式计算/Hadoop

hadoop中hcatalog的用法是什么?

我是hadoop的新手。我知道HCatalog是Hadoop的表和存储管理层。但它究竟如何运作?如何使用它。请给出一个简单的例子。 解决方案 HCatalog支持以任何格式读取和写入Hive SerDe(串行器 - 解串器)可以写。默认情况下,HCatalog支持RCFile,CSV,JSON和SequenceFile格式。要使用自定义格式,您必须提供InputFormat,OutputFo ..
发布时间:2018-05-31 19:07:21 分布式计算/Hadoop

BigQuery中是否有像'hive metastore'这样的元数据存储?

我是BigQuery的新手。我只想知道,在BigQuery中是否有类似蜂房元数据的元数据(有关所有表,列和其描述的元数据)? 解决方案 BigQuery提供了一些特殊的表格,其内容表示元数据,例如数据集中表格和视图的列表。 “元表”是只读的。要访问关于数据集中表和视图的元数据,请在查询的SELECT语句中使用__TABLES_SUMMARY__元表。您可以使用BigQuery Web UI,使用命 ..
发布时间:2018-05-07 17:29:17 其他开发