hiveql相关内容

计算HIVE中的中值

我有下表t1: 键值 1 38.76 1 41.19 1 42.22 2 29.35182 2 28.32192 3 33.66 3 33.47 3 33.35 3 33.47 3 33.11 3 32.98 3 32.5 我想计算每个关键组的中位数。根据文档,percentile_approx函数应该适用于此。每组的中位数值为 ..
发布时间:2018-06-12 14:18:08 其他开发

使用Hive删除特殊字符

我的数据存储在Cassandra 1.2中,如下所示。 sValue下有特殊字符 - 突出显示为粗体。我如何使用配置单元函数来删除它? Date |时间戳| payload_Timestamp | actDate | actHour | actMinute | sDesc | sName | sValue --------------------------------- + ------ ..
发布时间:2018-06-12 14:17:14 其他开发

Hive中的日期变量

我使用以下代码在Hive中设置日期 SET DATE_DM2 = date_sub(from_unixtime(unix_timestamp(),'yyyy / MM / dd'),cast(((from_unixtime(unix_timestamp(),'u')%7)+1)as int)); 但是,当我运行下面的select语句时,我没有得到输出 selec ..
发布时间:2018-06-12 14:17:10 其他开发

具有特定排除条件的Hive查询

我正在尝试构建一个只包含以下功能或这些功能组合的配置单元查询。例如,这些功能包括: name =“summary” name =“details” $ b name1 =“车辆统计数据” name1 =“accelerometer” 类似地,客户“Lan”不应该被计数,因为他在name1中额外完成了“超速”操作,这并不符合上述条件。 客户姓名姓名1 快速汇总车辆 ..
发布时间:2018-06-12 14:16:30 其他开发

HIVE查询数组总和

我有一个查询如下。 从tableA 选择split(薪金,'\ |')作为salaryEmp,它工作正常,并给我一个数组字符串为 [“1089” ,“1078”] 。 我想添加这个数组字符串的值。我无法将其转换为整数并对它们进行求和。 解决方案 使用 explode() + 横向视图: select sum(cast(salary as int ))sum_salry fro ..
发布时间:2018-06-12 14:16:27 其他开发

SMB连接不能在Hive表上工作

当在两个ORC表上执行SMB连接时,bucketed并对subscription_id进行排序时,连接失败,出现以下错误: 错误:java.lang.RuntimeException:在关闭运算符时Hive运行时错误 在org.apache.hadoop.hive.ql.exec.mr.ExecMapper.close(ExecMapper.java:210) 在org.apache .ha ..
发布时间:2018-06-12 14:15:09 其他开发

在hiveQL中嵌套选择

在我的一个用例中,我有两个表,即flow和conf。流量表包含所有航班数据的列表。它有列creationdate,datafilename,aircraftid。 conf表包含配置信息。它有列configdate,aircraftid,configurationame。对于一种飞机类型创建了多种配置版本。所以,当我们处理一个数据文件名时,我们需要从流表中识别出aircraftid,并从数据文件名 ..
发布时间:2018-06-12 14:15:07 其他开发

如何使用配置单元中的正则表达式排除字符串中的特殊字符

我想排除句点(。)和大括号((,))。 但是,十进制数字应该保持不变 因此,基本上如果输入是 Hive仅支持FROM子句中的子查询(通过Hive 0.12)。 子查询必须被赋予一个名称,因为FROM 子句中的每个表都必须有一个名称。子查询选择列表中的列必须具有 的唯一名称。 输出应该是 Hive仅通过Hive支持FROM子句中的子查询0.12必须为 子查询赋予 ..
发布时间:2018-06-12 14:14:48 其他开发

在Hive中检索udf结果

在下面的HiveQL代码中,我想将分区添加到现有表中: - my_table被定义和分区通过'dt字符串,这是日期 - 现在我想添加分区 alter table my_table add如果不存在 分区(dt = current_date()); ('expect')接近'' alter table my_table如果不存在,则添加 partition(dt ..
发布时间:2018-06-12 14:14:19 其他开发

如何编写一个查询来查找具有特定列名的HIVE数据库中的所有表

我有一个包含大约100个表的数据库,我需要构建一个连接查询来从其中两个表中获取特定的数据。我知道一个,但不是另一个。基本上我需要这样的东西: select来自 where exists table.column name; 我该怎么做? 解决方案 您可以编写一个shell脚本来搜索所有表中的列。 第一行为 ..
发布时间:2018-06-12 14:13:39 其他开发

将不同数量的行分组为Hive表中的列

我有一个Hive表,其中包含用户标识和一些变量选项,基本如下所示: userID选择 1 A 1 D 1 F 2 A 2 C 我想要做的就是浓缩这些信息,最终得到如下结果: userID selection1选择2选择3 1 ADF 2 AC 这甚至可能吗?我不清楚怎么做这个分组,因为可能的选择数量随用户而异。 ..
发布时间:2018-06-12 14:13:23 其他开发

如何在HIVE中加入两张表。

我有两张表A和B,都有以下结构。 //表A 姓名年龄actualdate否 //表B 城市sate edate id 我希望使用JOIN获得A和B的所有字段,其中,id = no和sdate = actualdate。 我试着用下面的where子句,但它不起作用。 select v3。*,t3。*从A v3 JOIN B t ..
发布时间:2018-06-12 14:12:51 其他开发

在Hive中实现限制查询

对于我的要求,我必须在配置单元中实现上限和下限。为此,我尝试写这样的查询。 SELECT * FROM`your_table` LIMIT 0,5 SELECT * FROM`your_table` LIMIT 5,5 但hive只支持1个限制,它不支持upper和下限。我尝试过使用RANK(),ROWNUM()来实现这一点,但没有成功。 任何人都可以帮我解 ..
发布时间:2018-06-12 14:12:07 其他开发

如何转换日期2017-sep-12到2017-09-12 HIVE中

我在转换蜂巢中的日期时遇到了一个问题。我需要将2017-sep-12转换为2017-09-12。如何在HIVE中实现此功能解决方案 使用 unix_timestamp(string date,string pattern)将给定的日期格式转换为从1970-01-01开始的秒数。然后使用 from_unixtime()转换为给定格式: hive>选择from_unixtime(unix_ti ..
发布时间:2018-06-12 14:11:14 其他开发

配置Hive以本地模式运行

你好,我试图在本地模式下运行Hive,我已经设置了HIVE_OPTS环境变量 export HIVE_OPTS =' - hiveconf mapred.job.tracker = local -hiveconf fs.default.name = file://// / hivelocal / tmp -hiveconf hive.metastore. ..
发布时间:2018-06-12 14:10:01 其他开发