metastore相关内容

BigQuery 中是否有像“hive Metastore"这样的元数据存储?

我是 BigQuery 的新手.我只想知道,BigQuery 中是否有类似 hive Metastore(所有表、列及其描述的元数据)之类的东西? 解决方案 BigQuery 提供了一些特殊的表格,其内容代表元数据,例如数据集中的表格和视图列表.“元表"是只读的.要访问有关数据集中表和视图的元数据,请在查询的 SELECT 语句中使用 __TABLES_SUMMARY__ 元表.您可以使用 ..
发布时间:2021-12-28 23:42:26 其他开发

Hive,如何检索数据库的所有表列

我想在 Hive 中编写这个 sql 请求的等价物: select * from information_schema.columns where table_schema='database_name' 如何访问 hive 的 Metastore 并检索存储在特定数据库中的所有表的所有列?我知道我们可以做到它通过describe [table_name]按表进行,但无论如何都要拥有所有同一请 ..
发布时间:2021-12-15 19:21:58 Java开发

使用 Java API 从 Hive 中获取表属性

我正在尝试使用 java 中的 Metastore 客户端从 hive Metastore 中获取表属性,例如表 db、名称、所有者和 hdfs 位置.我想我可以得到表数据库和名称,但是我不知道如何获取所有者和 hdfs 位置之类的东西.是否可以?我一直在搜索文档和互联网几个小时,但没有骰子. 解决方案 可能是这样的: org.apache.hadoop.hive.metastore.a ..
发布时间:2021-11-15 00:32:20 Java开发

在 IDEA 中的 Hive 项目上运行 Spark 期间创建事务连接工厂时出错

我正在尝试为需要将数据写入 Hive 的 Spark Streaming 项目设置开发环境.我有一个集群,其中有 1 台主机、2 台从机和 1 台开发机器(在 Intellij Idea 14 中编码). 在 spark shell 中,一切似乎都正常,我可以使用 DataFrame.write.insertInto("testtable") 通过 Spark 1.5 将数据存储到 Hive ..
发布时间:2021-11-14 22:57:08 其他开发

我们可以预测Hive SELECT *查询结果的顺序吗?

如果使用相同的DBMS作为Metastore,那么 SELECT *查询(无ORDER BY)的结果的顺序是否可能始终相同? 因此,只要将MySQL用作Metastore, SELECT *; 查询的结果顺序将始终相同.如果使用Postgres,则在相同数据上的顺序将始终相同,但与使用MySQL时的顺序不同.我正在谈论相同的数据. 也许所有这些都归结为以下问题:默认结果的顺序是什么,以 ..
发布时间:2021-05-14 19:08:15 其他开发

在IDEA中的Hive项目上运行Spark期间创建事务连接工厂时出错

我正在尝试为需要将数据写入Hive的Spark Streaming项目设置开发环境.我有一个集群,其中有1个主机,2个从机和1个开发机(在Intellij Idea 14中编码). 在spark外壳中,一切似乎都正常运行,并且我能够使用DataFrame.write.insertInto("testtable")通过Spark 1.5将数据存储到Hive中的默认数据库中 但是,当在ID ..
发布时间:2021-04-08 19:51:35 其他开发

配置单元需要的元数据细节

select * from information_schema.columns; 在MySQL中给出了MySQL数据库的dbname,表名和列详细信息。 我可以从任何表中获得与蜂巢相同的详细信息吗? 解决方案 已经在mysql中配置了您的Metastore。然后在Metastore数据库中有名为DBS的表,COLUMNS_V2将具有所有配置单元数据库和表的元 ..
发布时间:2018-06-12 14:13:26 其他开发

在使用配置单元配置mysql之后,无法启动配置单元Metastore服务或配置单元

我花了更多时间用配置单元来配置mysql,每当我遇到错误时我不明白它出错的地方.....正如你可以在这篇链接中看到的那样, hive-site.xml配置可以在这里看到链接 这里是文件结构 所以是造成这个问题的原因....希望这可以帮助我解决问题。 我跟着这些链接 https://dzone.com/articles/how-configure-mysql-metas ..
发布时间:2018-05-31 19:00:00 数据库

Hive,我如何检索所有数据库的表列

select * from information_schema.columns where table_schema =' database_name' 如何访问配置单元的Metastore并检索存储在特定数据库中的所有表的所有列?我知道我们可以通过describe [table_name]来完成 的表格,但无论如何,在同一个请求中,所有 都是数据库中所有表的列吗? ..
发布时间:2018-05-31 18:52:44 Java开发

使用Java API从Hive获取表属性

我试图使用java中的metastore客户端来获取table data,name,owner和hdfs位置之类的表属性。我想我可以获取表格数据库和名称,但我无法弄清楚如何获取所有者和hdfs位置等内容。可能吗?我一直在搜索文档和互联网几个小时,现在没有骰子。 解决方案 可能是这样的: org.apache.hadoop.hive.metastore.api.Table table ..
发布时间:2018-05-31 18:40:04 Java开发

BigQuery中是否有像'hive metastore'这样的元数据存储?

我是BigQuery的新手。我只想知道,在BigQuery中是否有类似蜂房元数据的元数据(有关所有表,列和其描述的元数据)? 解决方案 BigQuery提供了一些特殊的表格,其内容表示元数据,例如数据集中表格和视图的列表。 “元表”是只读的。要访问关于数据集中表和视图的元数据,请在查询的SELECT语句中使用__TABLES_SUMMARY__元表。您可以使用BigQuery Web UI,使用命 ..
发布时间:2018-05-07 17:29:17 其他开发