hive相关内容

将Greenplum SQL语句迁移到HiveSQL

我们正在将Greenplum迁移到HiveSQL,请帮助我,因为以下语句需要转换。请帮帮我们。 GREENPLUM - ||trim(to_char(sum(revenue),'9,999,999,999')) 配置单元将不支持to_char,因此我们必须在配置单元中放入相等属性。 推荐答案 您可以使用cast(col as STRING)转换为字符,并使用format_nu ..
发布时间:2022-04-04 20:08:24 其他开发

用于左连接的蜂窝偏斜缓解

我有一个典型的影响左外部联接性能的不对称问题(左表很大,右表很小)。不对称的密钥主要是空的(很长一段时间),其次是&键X和键。 我尝试了几种不同的方法: 在偏斜的键上添加连接谓词";is Not Null";似乎没有任何明显的影响。此外,我还需要处理 我使用hive.Optimize.skewJoin的结果好坏参半 我在几篇文章中提到的关键腌制技术非常有效(速度快3 ..
发布时间:2022-04-04 20:04:53 其他开发

配置单元SQL查询,用于用日期范围内最近的值填充表中缺少的日期值

对于下面的示例,如果我使用下面相同的数据,并且如果我希望Mary和Peter帐户在相同的日期范围内,我将如何修改配置单元SQL查询来执行此操作?例如,将日期范围设置在‘2021-05-24’和‘2021-06-03’之间,并填写此期间的所有余额。如果我们以Mary为例,我还希望看到Mary可用余额‘53028.1’向前填充到‘2021-06-03’,并且如果Mary没有‘2021-05-24’的值 ..
发布时间:2022-04-04 19:59:52 其他开发

HIVE是否会同时使用分区条件而不是分区条件执行全表查询?

我有一个由一个日期列名datetime分区的配置单元表 如果我执行类似 的查询 select * from table where datetime = "2021-05-01" and id in (1,2) 如果有额外的and id in (1,2)条件,配置单元是否会执行全表搜索? 是否可以通过explain结果确定? 推荐答案 分区清理应该可以正常工作。为了 ..
发布时间:2022-04-04 19:57:49 其他开发

如果托管表和外部表具有相同的位置,删除托管表是否会删除外部表?

在相同位置创建托管表和外部表。 当您删除内部表时,数据文件会发生什么情况? 是否会对外部表或外部表的文件位置造成问题? 推荐答案 该表是一个元数据,其中包含列规范、位置路径、表类型、SerDe、统计信息、授权等。删除位置文件夹或文件不会删除该表,只会删除数据。配置单元中的表和数据是松散连接的,这非常方便,因为您不仅可以使用配置单元管理数据,还可以在由其他一些工具生成的现有数据之上创建 ..
发布时间:2022-04-04 19:44:53 其他开发

配置单元-如何使用来自原始表的分区以SELECT方式创建表(&Q)?

我需要从我们的配置单元DLK创建一个“工作表”。而我可以使用: create table my_table as select * from dlk.big_table 很好,我在继承原始“BIG_TABLE”中的分区(属性day、month和year)或仅从这些属性创建新分区时遇到了问题。 搜索网络并没有真正帮助我回答这个问题--所有的“教程”或解决方案要么涉及create as se ..
发布时间:2022-04-04 19:40:24 其他开发

如何检查配置单元CLI中的设置?

我希望在hive命令中运行配置单元查询,并且希望使其更快,因此我运行: hive:messages> set mapred.job.priority = VERY_HIGH; hive:messages> set hi = 1; 但我发现实际上我可以将任何字符串设置为配置单元中的任何字符串,所以我想知道是否有方法可以检查我所做的所有设置? 推荐答案 若要列出当前配置单元会话中 ..
发布时间:2022-04-04 19:38:12 其他开发

使用缺省值创建配置单元表

我在RDBMS中有一个表,如下所示: create table test (sno number, entry_date date default sysdate). 现在我要在配置单元中创建一个表,其结构为向列添加默认值。 推荐答案 配置单元目前不支持创建表时向任何列添加默认值的功能。 作为一种解决办法,可以将数据临时加载到临时表中,并使用INSERT OVERWRITE ..
发布时间:2022-04-04 19:36:14 其他开发

转义配置单元函数Get_json_Object中的子运算符

我有一个包含JSON格式数据的字符串列的表。然后,我使用函数get_json_object来解析其中的一些数据。问题是我的一个字段的名称中包含.。因此,如果以纯文本形式编写字段名,该函数会将其解释为子运算符。 以下是一个有效的示例代码: select get_json_object(col, '$.rootkey') from (select '{"rootkey":15,"key.a ..
发布时间:2022-04-04 12:43:12 其他开发

区分和分组,哪个更好

我们都参考的最简单的情况: select id from mytbl group by id 和 select distinct id from mytbl 我们知道,它们生成相同的查询计划,这在Which is better: Distinct or Group By 等项目中已经反复提到 但是,在蜂窝中,前者只有一个Reduce任务,而后者有多个。 通过实验,我 ..
发布时间:2022-04-03 19:37:53 其他开发