hcatalog相关内容

BigQuery 中是否有像“hive Metastore"这样的元数据存储?

我是 BigQuery 的新手.我只想知道，BigQuery 中是否有类似 hive Metastore(所有表、列及其描述的元数据)之类的东西? 解决方案 BigQuery 提供了一些特殊的表格，其内容代表元数据，例如数据集中的表格和视图列表.“元表"是只读的.要访问有关数据集中表和视图的元数据，请在查询的 SELECT 语句中使用 __TABLES_SUMMARY__ 元表.您可以使用 ..
发布时间：2021-12-28 23:42:26 其他开发

hadoop中hcatalog的用途是什么?

我是 Hadoop 的新手.我知道 HCatalog 是 Hadoop 的表和存储管理层.但是它究竟是如何工作的以及如何使用它.请举一些简单的例子. 解决方案 HCatalog 支持读取和写入可以写入 Hive SerDe(串行器-解串器)的任何格式的文件.默认情况下，HCatalog 支持 RCFile、CSV、JSON 和 SequenceFile 格式.要使用自定义格式，您必须提供 ..
发布时间：2021-12-28 23:34:55 其他开发

Hadoop - 使用 PIG 加载 Hive 表

我想使用 Pig 加载 Hive 表.我认为我们可以通过 HCatLoader 做到这一点，但我使用 xml 文件来加载 pig.为此，我必须使用 XMLLoader.我可以使用两个选项在 Pig 中加载 XML 文件吗? 我正在使用我自己的 UDF 从 XML 文件中提取数据，一旦我们提取了所有数据，我必须将 Pig 数据加载到 Hive 表中. 我无法使用 HIVE 提取 XML ..
发布时间：2021-11-12 04:19:29 其他开发

运行 HCatalog 时出错

A = LOAD 'eventnew.txt' USING HCatalogLoader(); 2015-07-08 19:56:34,875 [main] 错误 org.apache.pig.tools.grunt.Grunt - 错误 1070:无法使用导入解析 HCatalogLoader:[、java.lang.、org.apache.pig.builtin., org.apache.p ..
发布时间：2021-11-12 04:11:30 其他开发

Pig 未将数据加载到 HCatalog 表中 - HortonWorks Sandbox

我正在 HortonWorks 虚拟机中运行 Pig 脚本，目的是提取 XML 数据集的某些部分，并将这些部分加载到 HCatalog 表的列中.在我的本地机器上，我在 XML 文件上运行我的 Pig 脚本并获得一个包含所有提取部分的输出文件.但是，出于某种原因，当我在 HortonWorks VM 中运行相同的脚本时，该脚本似乎运行成功，但 HCatalog 表仍然为空. 这是我的本地脚本 ..
发布时间：2021-11-12 04:11:12 其他开发

Pig 未将数据加载到 HCatalog 表中 - HortonWorks Sandbox

我正在 HortonWorks 虚拟机中运行 Pig 脚本，目的是提取 XML 数据集的某些部分，并将这些部分加载到 HCatalog 表的列中.在我的本地机器上，我在 XML 文件上运行我的 Pig 脚本并获得一个包含所有提取部分的输出文件.但是，出于某种原因，当我在 HortonWorks VM 中运行相同的脚本时，该脚本似乎运行成功，但 HCatalog 表仍然为空. 这是我的本地脚本 ..
发布时间：2021-11-12 04:10:31 其他开发

类型转换猪目录

我使用 HCatalog 0.4 版.我在 hive 'abc' 中有一个表，它有一个数据类型为 'timestamp' 的列.当我尝试运行像这样的猪脚本“raw_data = load 'abc' using org.apache.hcatalog.pig.HCatLoader();"我收到一条错误消息，指出“java.lang.TypeNotPresentException:类型时间戳不存在" ..
发布时间：2021-11-12 04:08:09 其他开发

Hive-Varchar vs String，如果存储格式为Parquet文件格式，有什么好处吗?

我有一个HIVE表，该表将保存数十亿条记录，它是一个时间序列数据，因此分区是每分钟一次.每分钟我们将有大约100万条记录. 我表中的字段很少，VIN码(17个字符)，Status(2个字符)...等等 所以我的问题是在表创建期间，如果我选择使用Varchar(X)vs String，是否存在任何存储或性能问题， varchar的一些限制是 https://cwiki.apache ..
发布时间：2020-06-18 18:32:06 其他开发

猪未将数据加载到HCatalog表中-HortonWorks Sandbox

我正在HortonWorks虚拟机中运行Pig脚本，目的是提取XML数据集的某些部分，并将这些部分加载到HCatalog表中的列中.在本地计算机上，我在XML文件上运行Pig脚本，并获得包含所有提取部分的输出文件.但是，由于某种原因，当我在HortonWorks VM中运行相同的脚本时，该脚本似乎已成功运行，但是HCatalog表仍然为空. 这是我的本地脚本: REGISTER pi ..
发布时间：2020-06-18 18:32:02 其他开发

Hive 0.13外部表动态分区自定义模式

根据文档，您应该能够为分区指定一个自定义模式 Hive外部表分区。但是，我无法实现它： select * from rawlog_test7 limit 10; 不会返回记录。 这就是我在做的事情 $ b $ pre $ set hcat.dynamic.partitioning.custom.pattern =“$ {year} / $ {month} / $ {day} / $ { ..
发布时间：2018-06-12 14:17:33 其他开发

将Sqoop导入HCatalog / Hive - 表不可见

使用Ambari 2.2.2.0安装HDP-2.4.2.0-258 我必须导入几个SQL Server架构，这些架构应该可以通过Hive，Pig，MR和任何第三方（将来）。我决定导入HCatalog。 Sqoop提供了导入到Hive或HCatalog的方法，我想如果导入到HCatalog，可以从Hive CLI访问同一个表，到MR和猪（请评估我的假设）。 问题： 如果直接导 ..
发布时间：2018-06-12 14:07:09 其他开发

类型转换猪hcatalog

我使用HCatalog版本0.4。我在hive'abc'中有一个表，它有一个数据类型为'timestamp'的列。当我尝试使用org.apache.hcatalog.pig.HCatLoader（）来运行这样的“raw_data = load'abc'”猪脚本时“我得到一个错误说“java.lang.TypeNotPresentException：输入时间戳不存在”。 解决方案 问题是，h ..
发布时间：2018-06-12 13:55:20 其他开发

通过Sqoop将序列文件导出到Oracle

我一直在试图找到一些关于如何使用Sqoop将序列文件导出到Oracle的文档。这是可能的吗？ 目前我有我的文件（在HDFS中）以基于文本的格式，我使用Sqoop将这些文件导出到Oracle的某些表并且工作正常。现在我想将文件的格式从文本更改为序列文件或其他内容（Avro稍后）。那么，如果我想使用Sqoop将不同文件格式从HDFS导出到Oracle，我需要做什么？ 任何信息都将得到高度赞 ..
发布时间：2018-06-01 12:45:47 数据库

Hadoop - 使用PIG加载Hive表

我想使用Pig加载Hive表。我认为我们可以通过 HCatLoader 来实现，但我使用xml文件加载猪。为此，我必须使用 XMLLoader 。我可以使用两个选项来加载Pig中的XML文件。 我使用自己的UDF从XML文件中提取数据，一旦我们提取所有数据，我必须加载Hive表格中的猪数据。 我不能使用HIVE来提取XML数据，因为我收到的XML非常复杂，我写了自己的UDF来解析XML ..
发布时间：2018-06-01 12:40:33 分布式计算/Hadoop

hadoop中hcatalog的用法是什么？

我是hadoop的新手。我知道HCatalog是Hadoop的表和存储管理层。但它究竟如何运作？如何使用它。请给出一个简单的例子。 解决方案 HCatalog支持以任何格式读取和写入Hive SerDe（串行器 - 解串器）可以写。默认情况下，HCatalog支持RCFile，CSV，JSON和SequenceFile格式。要使用自定义格式，您必须提供InputFormat，OutputFo ..
发布时间：2018-05-31 19:07:21 分布式计算/Hadoop