Hive查询中由于内存而出现的问题
我们有一个插入查询，其中我们试图通过从非分区表中读取数据来向分区表中插入数据. 查询- 插入db1.fact_table PARTITION(part_col1，part_col2)(col1，col2，col3，col4，col5，col6，.......col32LOAD_DT，part_col1，Part_col2)选择col1，col2，col3，col4，col5，col6，..
..
hiveql相关内容
如何通过在Hive中保留数据中的毫秒数将UTC转换为CST时间戳
我有一个配置单元表，其中数据类型为timestamp的数据为UTC格式.我在此表的顶部创建了一个视图，以将夏令时的 UTC 转换为 CST .这种转换工作正常.但是数据丢失了毫秒. 以下逻辑用于将UTC转换为CST FROM_UTC_TIMESTAMP(UNIX_TIMESTAMP(添加日期，'yyyy-MM-dd HH:mm:ss.SSS')* 1000，'CST6CDT') 请帮
..
如何在Hive SQL中声明和使用变量?
我正在使用以下语法在Hive SQL查询中声明和使用变量.但这给了我如下错误 SET aa = '10';选择col1作为数据，$ {aa}作为myTable中的myVar； 错误:org.apache.hive.service.cli.HiveSQLException:处理语句时出错:无法在运行时修改aa.它不在允许在运行时修改的参数列表中 我也尝试过使用hiveconf 从my
..
蜂巢实木复合地板活泼压缩不起作用
我正在使用表属性创建一个表骨架 TBLPROPERTIES('PARQUET.COMPRESSION'='SNAPPY') (因为文件为镶木地板格式)，并在创建表之前将一些参数设置为: set hive.exec.dynamic.partition.mode = nonstrict;设置parquet.enable.dictionary = false;设置hive.plan.seriali
..
如何在HIve中为IN子句提供参数
有什么方法可以读取 HIVEquery 中的参数，该参数可以替代 IN 子句.我有以下查询. 从表中的ID((1'，'2'，'3'，'4'，'5')中选择计数(*). 是否可以通过文本文件为IN子句提供参数? 解决方案 使用in_file:将所有ID放入文件中，连续一个ID. 从表中选择计数(*)，其中in_file(id，'/tmp/myfilename');-本地文件 您还
..
在Hive中以毫秒为单位的历元到以毫秒为单位的时间戳转换
如何在Hive中将毫秒级的unix历元转换为毫秒级的时间戳?cast()和from_unixtime()函数都无法以毫秒为单位获取时间戳. 我尝试过 .SSS ，但是该功能只会增加年份，而不会将其作为毫秒的一部分. scala>spark.sql("select from_unixtime(1598632101000，'yyyy-MM-dd hh:mm:ss.SSS')").show(f
..
为什么Hive无法支持非等额加入?
我发现Hive不支持非等额联接，仅仅是因为很难将非等额联接转换为Map reduce吗? 解决方案 是的，问题出在当前的map-reduce实现中. 在MapReduce中如何实现常见的等价联接? 将输入记录分块复制到映射器，映射器将输出作为键值对输出，并使用某种功能在缩减器之间收集和分配输出，从而每个缩减器将处理整个键，即映射器为按键分组的每个化简创建键值列表.精简器复制映射
..
将数据从一个表复制到另一分区表
％hive插入NEWPARTITIONING分区(year(L_SHIPDATE))，从LINEITEM中选择*； 我想将订单项中的数据复制到分区表 NEWPARTITIONING 中，但是出现以下错误: 1:54行无法识别语句中')''select''*'附近的输入. 不明白为什么会发生此错误.谁能给我一些想法 解决方案 Hive支持 DYNAMIC 或 STATIC 分
..
在Hive中，如何使用explode(XPATH(..))函数读取XML中存在的NULL/空标签?
在下面的Hive查询中，我需要读取null/空“字符串"标签以及XML内容.仅非空的“字符串"被使用.标签现在已在 XPATH()列表中被考虑. ，your_data为(选择' ABCD 111 222
..
在Hive中，如何在子家族&中分解XML中的标签.外亚科，并适当地对它们进行家庭映射?
在提供的以下XML中，我需要将{Name，Value}对与ParentID标签一起爆炸，并适当地映射它们，"Parent"全家福: 12345 ABCD 111
..
我需要哪个版本的Hive时间戳在小数秒内具有超过6个小数位?
我需要使用哪个版本的Hive: https://cwiki.apache.org/confluence/display/Hive/CAST...FORMAT+with+SQL%3A2016+datetime+formats 它列出了一种将字符串转换为指定格式的时间戳的方法，但是似乎不起作用，与此功能相关的Jira故事似乎从未发布过. https://issues.apache.org/
..
蜂巢-如何将数组转换为字符串?
我试图将包含逗号分隔数组的列强制转换为Hive中的字符串. 选择电子邮件地址，CAST(爆炸(GP_array为STRING))为AS GP来自dm.TP 我收到以下错误 行:1-失败:SemanticException [错误10081]:SELECT子句之外不支持UDTF，也不嵌套在表达式中 解决方案 爆炸函数将数组爆炸为多行.返回具有单列(col)的行集，该数组中的每个元
..
用Hive中的任何内容替换单引号(')
我有一个功能可以替换不同类型的字符，如下所示. CAST(TRANSLATE(REGEXP_REPLACE(UPPER(number)，'|，|-|/|& | _ |'''''，'')，'.|(|)'，'')作为字符串)作为数字 一切正常，除了“''''部分，我想用单引号/撇号代替任何内容. 示例: TYLER'SCOFFEE应该以TYLERSCOFFEE的形式出现 我检查了
..
在Hive中，如何在XML中多次出现的相同父标记下分解相同的子标记?
在下面的Hive查询中，XML由 Parents 标记组成，其中包含4个 Parent 家族和4个 ParentArray 家族.在每个 ParentArray 下，都有 ParentFieldArray 事件，它们由相同的名称和值标签( ABCD 和 111 组成)组成.). ，your_data为(选择'
..
在Hive中，如何在XML中存在的相同父标记下爆炸子标记?
在下面的Hive查询中，我需要将子标签映射到具有XML内容中相同值的父标签下.截至目前，由于父标记值"ABCD"被设置为"交叉连接"，在这里重复. ，your_data为(选择' ABCD 111
..
从具有多个分区列的配置单元表中获取最新数据
我有一个具有以下结构的配置单元表 ID字符串，值字符串，年int月int，天诠释小时整数，分钟int 该表每15分钟刷新一次，并按年/月/日/小时/分钟列进行分区.请在分区上找到以下示例. 年= 2019/月= 12/天= 29/小时= 19/分钟= 15年= 2019/月= 12/天= 30/小时= 00/分钟= 45年= 2019/月= 12/天= 30/小时= 08/分钟= 45年
..
从开始和结束日期开始活跃的几周
我有如下订阅数据.数据显示用户何时购买了订阅.它具有 user_id，subscription_id，开始日期和结束日期. 我从中派生了 wk_start 和 wk_end . + ------ + ----------------- + ------------ + ------------ + ---------- + -------- +|用户|subscription_id |开
..
SemanticException添加分区Hive表
尝试使用以下内容在Hive表上创建分区: >修改表stock_ticker添加(如果不存在)>分区(stock_symbol ='ASP')>位置'data/stock_ticker_sample/stock_symbol = ASP/' 哪个会产生以下输出 FAILED:SemanticException表未分区，但分区规范存在:{stock_symbol = ASP} 在尝试添加
..
在HIVE中选择每月的第一天
我正在使用Hive(与SQL相似，但是对于SQL用户，语法可能没有什么不同).我看了其他的stackoverflow，但是它们似乎在SQL中具有不同的语法. 我正在尝试通过此查询获取每月的第一天.这给了我今天的一天.例如，如果今天是2015-04-30，则结果将是2015-04-01.谢谢！ 选择cust_id，FROM_UNIXTIME(UNIX_TIMESTAMP()，'yyyy-MM
..
比较两个SQL表并返回更改后的行数
我有一个包含num_key记录的SQL表有两个分区.我需要比较和统计2月记录与1月记录的变化. 示例数据和所需结果: ptn_dt ='2019-01-31'(一月) num_key active_indicator 111 true 112 false 113 false 114 false 115 true 116 true ptn_dt ='2019-02
..