hiveql相关内容

如何将一个分区的数据插入/复制到配置单元中的多个分区?

我的 hive 表中有 day='2019-01-01' 的数据，我想将相同的数据复制到 2019 年 1 月的整个月份.(即在'2019-01-02','2019-01-03'...'2019-01-31') 我正在尝试关注，但数据仅插入到“2019-01-02"而不是“2019-01-03"中. INSERT OVERWRITE TABLE db_t.students PARTITIO ..

发布时间：2022-01-11 14:12:29 hive calendar hiveql date-range hive-partitions 其他开发

SAS合并和全外连接的区别

表 t1: 人 |访问 |code_num1 |code_desc11 1 100 场外交易1 2 101 SED2 3 102 CHM3 4 103 过时3 4 103 过时4 5 101 SED 表 t2: 人 |访问 |code_num2 |code_desc21 1 104 二甲醚1 6 104 二甲醚3 4 103 过时3 4 103 过时3 7 103 过时4 5 104 二甲 ..

发布时间：2022-01-08 17:48:41 merge hive sas outer-join hiveql 其他开发

比较配置单元中具有相同结构的两个表之间的数据

如何比较hive中具有相同结构的两个表.我相信减号在蜂巢中不起作用. SRC 表: id 名称1 安2 乙3 C TGT 表: 身份证名称 1 A2 C3 C 谁能帮我查询. 解决方案 如果您正在寻找两个表之间的相等性和差异(如果有)，您可以按照以下操作 SELECT MIN(TableName) as TableName, ID, NAME从(SELECT 'S ..

发布时间：2021-12-29 00:00:51 sql hive hiveql 其他开发

如何在 HIVE 中将日期 2017-sep-12 转换为 2017-09-12

我在转换 hive 中的日期时遇到了一个问题.我需要将 2017-sep-12 转换为 2017-09-12 .我怎样才能在 HIVE 中实现这一点 解决方案 使用 unix_timestamp(string date, string pattern) 将给定的日期格式转换为从 1970-01-01 过去的秒数.然后使用 from_unixtime() 转换为给定的格式: hive>se ..

发布时间：2021-12-29 00:00:35 hadoop hive hiveql 其他开发

蜂巢左外连接长期运行

Hortonworks HDP 2.3.0 - Hive 0.14 Table T1(在 col1 上分区，无桶，ORC) app 1.2 亿行 &6GB 数据大小Table T2(col2 上的分区，无桶，ORC) app 200 M 行 &6MB 数据大小 T1 左外连接 t2 ( t1.col3 = t2.col3 ) 上述查询在 tez 和 tez 的最后一个减速器阶段长时间运行 ..

发布时间：2021-12-29 00:00:26 hive mapreduce query-optimization hiveql reduce 其他开发

可以从文件加载 hiveconf 变量吗?(与 HiveQL 文件分开)

我经常有一大块 HiveQL，我想对某些变量使用不同的设置多次运行. 一个简单的例子是: set mindate='2015-01-01 00:00:00'设置 maxdate='2015-04-01 00:00:00'select * from my_table where the_date介于 ${hiveconf:mindate} 和 ${hiveconf:maxdate} 之间 ..

发布时间：2021-12-28 23:59:48 hadoop hive config hiveql hive-configuration 其他开发

如何从 hive cli 将 hive sql 查询作为 mr 作业提交

我已经部署了一个 CDH-5.9 集群，使用 MR 作为 hive 执行引擎.我有一个名为“users"的配置单元表，有 50 行.每当我执行查询 select * from users 工作正常如下: hive>从用户中选择*；行亚当 1 38 ATK093 厨师本杰明 2 24 ATK032 仆人查尔斯 3 45 ATK107 收银员常春藤 4 30 ATK384 仆人琳达 5 23 ATK ..

发布时间：2021-12-28 23:58:54 hive mapreduce hiveql hadoop2 cloudera-cdh 其他开发

在 hive 中，我们可以更改托管/外部表的位置吗

在 hive 中，我们可以更改托管/外部表的位置吗如果是的话如何.更改位置后，它的行为会像外部表还是内部表 解决方案 我试图搜索这个问题，但没有得到正确的答案是的，如果我们添加位置 ，我们可以更改托管表的位置 CREATE TABLE weather (wban INT, date STRING, precip INT)行格式分隔以‘,’结尾的字段LOCATION ‘/hive/dat ..

发布时间：2021-12-28 23:58:02 hive hiveql 其他开发

Hive 查询结果中的 NULL 列名

我已经从 NOAA 下载了天气 .txt 文件，看起来喜欢: WBAN，日期，时间，StationType，SkyCondition，SkyConditionFlag，可见性，VisibilityFlag，WeatherType，WeatherTypeFlag，DryBulbFarenheit，DryBulbFarenheitFlag，DryBulbCelsius，DryBulbCelsius ..

发布时间：2021-12-28 23:57:46 hive hiveql hadoop2 其他开发

在 Hive 查询中生成缺失日期时面临问题

我有一个要求，我需要返回到一列的先前值直到 1000 行，并为我的后续步骤获取先前的 1000 个日期，但是表中该列不存在所有先前的 1000 个日期.但我需要那些缺失的日期才能从查询的输出中获取. 当我尝试在查询下方运行时，它不显示当前日期的 1000 个先前日期值. 示例:假设只有 2 个日期可用于日期列 日期2019-01-162019-01-19 我想出了一个查询来获取 1 ..

发布时间：2021-12-28 23:57:38 sql date hive calendar hiveql 其他开发

Hive SQL 查询中 Regexp_replace 的奇怪行为

我有一些输入信息，我试图从我的输入中删除部分 .0，其中 ID 字符串以 .0 结尾. select student_id, regexp_replace(student_id, '.0','') from school_result.credit_records where student_id like '%.0'; 输入: 01-0230984.0312345098.03456 ..

发布时间：2021-12-28 23:55:20 regex hive hiveql regexp-replace 其他开发

通过确切插入的时间戳在 Hive 中进行动态分区

我需要将数据插入给定的外部表，该表应按插入日期进行分区.我的问题是 Hive 如何处理时间戳生成?当我为所有插入的记录选择时间戳时: WITH delta_insert AS (SELECT trg.*, from_unixtime(unix_timestamp()) AS generic_timestampFROM target_table trg)选择 *从 delta_insert; 所 ..

发布时间：2021-12-28 23:54:31 date hive timestamp hiveql unix-timestamp 其他开发

使用 Hive 计算文本变量的单词频率

我有一个变量，每一行都是一个句子.示例: -Row1 “嘿，你好吗?-Rwo2“嘿，谁在那里? 我希望输出是按单词分组的计数. 示例: 嘿 2如何 1是 1... 我正在使用 split bit 功能，但我有点卡住了.对此有什么想法吗? 谢谢！ 解决方案 这在 Hive 中是可能的.按非字母字符拆分，使用横向视图+爆炸，然后计算字数: with your_data ..

发布时间：2021-12-28 23:54:11 hadoop text hive counter hiveql 其他开发

组中减速器的 Hive 数量和计数(不同)

有人告诉我 count(distinct ) 可能会导致数据倾斜，因为只使用了一个减速器. 我使用一个包含 50 亿数据和 2 个查询的表进行了测试， 查询 A: select count(distinct columnA) from tableA 查询 B: select count(columnA) from(从 tableA group by columnA 选择 colu ..

发布时间：2021-12-28 23:53:45 hadoop hive mapreduce hiveql hive-configuration 其他开发

在 Hive 中的多个列上爆炸

我正在尝试在 Hive 中分解多列中的记录. 例如，如果我的数据集看起来像这样 - COL_01 COL_02 COL_031 A, B X, Y, Z2 D、E、F V、W 我想要这个作为输出 - COL_01 COL_02 COL_031 A X1 B Y1 空 Z2 DV2 东2 F NULL 有没有办法在 Hive 中做到这一点? 我看到了一些关于单列爆炸的帖子，但没有 ..

发布时间：2021-12-28 23:52:57 sql arrays split hive hiveql 其他开发

如何将数据插入到 Hive(0.13.1) 表中?

我使用的是 Hive 版本 0.13.1.尝试将数据插入现有表时，在使用以下查询时出错: CREATE TABLE table1 (order_num int, payment_type varchar(20), category varchar(20));INSERT INTO TABLE table1 VALUES (151, 'cash', 'lunch'); 错误: ParseE ..

发布时间：2021-12-28 23:52:50 mysql hive hiveql 数据库

“太多的获取失败"使用 Hive 时

我正在对 3 个节点的 hadoop 集群运行 hive 查询.我收到一条错误消息，显示“获取失败太多".我的蜂巢查询是: insert overwrite table tablename1 partition(namep)从 tablename2 中选择 id,name,substring(name,5,2) 作为 namep； 这是我试图运行的查询.我想要做的就是将数据从 tablena ..

发布时间：2021-12-28 23:52:26 hadoop mapreduce hive hiveql 其他开发

如何使用 hive 上下文在 spark 中有效地查询 hive 表?

我有一个包含时间序列数据的 1.6T Hive 表.我正在使用 Hive 1.2.1和 scala 中的 Spark 1.6.1. 以下是我在代码中的查询.但是我总是遇到Java 内存不足错误. val sid_data_df = hiveContext.sql(s"SELECT time, total_field, sid, year, date FROM tablename WHERE ..

发布时间：2021-12-28 23:52:10 scala hadoop apache-spark hive hiveql 其他开发

以毫秒为单位的 Hive 字符串到时间戳转换

我需要转换上述输入字符串格式并在时间戳中生成所需的输出，如下所示. 输入: 16AUG2001:23:46:32.876086 期望输出: 2001-08-16 23:46:32.876086 通过运行以下代码得到的输出:2001-08-17 00:01:08 查询: 选择'16AUG2001:23:46:32.876086'作为row_ins_timestamp，fro ..

发布时间：2021-12-28 23:51:47 sql hive timestamp hiveql unix-timestamp 其他开发

在 hiveql 中将列转换为行(UNPIVOT)

我有一个结构如下的表: column1, column2, column3, X1, X2, X3, X4A1, A2, A3, 5, 6, 1, 4 我想把它转换成 column1, column2, column3, Key, ValueA1、A2、A3、X1、5A1、A2、A3、X2、6A1、A2、A3、X3、1A1、A2、A3、X4 4 我已经能够使用与“UNION ALL"缝合在 ..

发布时间：2021-12-28 23:51:08 sql hadoop hive hiveql unpivot 其他开发