hiveql 第2页 - IT屋-程序员软件开发技术分享社区

或当前在配置单元的联接错误中不受支持

我在配置单元中运行查询，如下所示，在左连接中有OR条件。当我运行SELECT时，它向我抛出两条错误消息。 OR当前在联接中不受支持(了解或仅适用于配置单元中的对等联接) 在联接‘cre_Timestamp’中同时遇到左别名和右别名 a.line_id, a.seller, a.sellerid, ..

发布时间：2022-04-04 19:55:09 sql join hive hiveql non-equi-join 其他开发

在应用程序主服务器上搁置的ApacheTez任务

我遇到了TEZ问题，同时运行大约14个查询时，有些查询延迟超过5分钟，但集群利用率仅为14%。这就是我所说的消息。 INFO SessionState: [HiveServer2-Background-Pool: Thread-322319]: Get Query Coordinator (AM) 308.84s 我的配置如下： yarn.scheduler.maximu ..

发布时间：2022-04-04 19:53:54 hive hiveql apache-tez cdp cloudera-cdp 其他开发

我有一个类似于"2014-09-02T03:01:09.8093664Z"的字符串，我正在尝试将其转换为本地时区。我尝试了from_utc_timestamp(eventTime, 'GMT')、from_utc_timestamp(eventTime, "PDT")，但配置单元仅返回错误： Caused by: org.apache.hadoop.hive.ql.metadata.Hive ..

发布时间：2022-04-04 19:51:22 hadoop hive bigdata hiveql 其他开发

按位置映射3个数组列的配置单元查询

i/p: c1 c2 c3 [[1,2,3],[4],[5,6]] ['v1','v2','v3'] [['sam'], ['tam'], ['bam']] o/p: c1 c2 ..

发布时间：2022-04-04 19:48:49 arrays hadoop hive hiveql explode 其他开发

配置单元将json记录解析为空

我有一个简单的蜂窝表： hive> show create table tweets; OK CREATE EXTERNAL TABLE `tweets`( `json_body` string COMMENT 'from deserializer') ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' STORED ..

发布时间：2022-04-04 19:46:42 json hive hiveql presto hiveddl 其他开发

如果托管表和外部表具有相同的位置，删除托管表是否会删除外部表？

在相同位置创建托管表和外部表。当您删除内部表时，数据文件会发生什么情况？是否会对外部表或外部表的文件位置造成问题？推荐答案该表是一个元数据，其中包含列规范、位置路径、表类型、SerDe、统计信息、授权等。删除位置文件夹或文件不会删除该表，只会删除数据。配置单元中的表和数据是松散连接的，这非常方便，因为您不仅可以使用配置单元管理数据，还可以在由其他一些工具生成的现有数据之上创建 ..

发布时间：2022-04-04 19:44:53 hadoop hive hiveql external-tables hiveddl 其他开发

配置单元：计数非重复窗口函数引发错误

我正在尝试使用配置单元中的窗口函数COUNT DISTINCT，但遇到错误。使用的查询如下： select user, dt, count(distinct dt) over(partition by user) as dates FROM table 它引发以下错误： FAILED: SemanticException [Error 10025]: Line 1: ..

发布时间：2022-04-04 19:42:03 hadoop hive hiveql 其他开发

配置单元-如何使用来自原始表的分区以SELECT方式创建表(&Q)？

我需要从我们的配置单元DLK创建一个“工作表”。而我可以使用： create table my_table as select * from dlk.big_table 很好，我在继承原始“BIG_TABLE”中的分区(属性day、month和year)或仅从这些属性创建新分区时遇到了问题。搜索网络并没有真正帮助我回答这个问题--所有的“教程”或解决方案要么涉及create as se ..

发布时间：2022-04-04 19:40:24 sql hadoop hive hiveql create-table 其他开发

如何检查配置单元CLI中的设置？

我希望在hive命令中运行配置单元查询，并且希望使其更快，因此我运行： hive:messages> set mapred.job.priority = VERY_HIGH; hive:messages> set hi = 1; 但我发现实际上我可以将任何字符串设置为配置单元中的任何字符串，所以我想知道是否有方法可以检查我所做的所有设置？推荐答案若要列出当前配置单元会话中 ..

发布时间：2022-04-04 19:38:12 hadoop hive hiveql 其他开发

使用缺省值创建配置单元表

我在RDBMS中有一个表，如下所示： create table test (sno number, entry_date date default sysdate). 现在我要在配置单元中创建一个表，其结构为向列添加默认值。推荐答案配置单元目前不支持创建表时向任何列添加默认值的功能。作为一种解决办法，可以将数据临时加载到临时表中，并使用INSERT OVERWRITE ..

发布时间：2022-04-04 19:36:14 hive hiveql 其他开发

转义配置单元函数Get_json_Object中的子运算符

我有一个包含JSON格式数据的字符串列的表。然后，我使用函数get_json_object来解析其中的一些数据。问题是我的一个字段的名称中包含.。因此，如果以纯文本形式编写字段名，该函数会将其解释为子运算符。以下是一个有效的示例代码： select get_json_object(col, '$.rootkey') from (select '{"rootkey":15,"key.a ..

发布时间：2022-04-04 12:43:12 sql json hive special-characters hiveql 其他开发

插入带有特殊字符的配置单元表格内容-制表符和换行符

我正在尝试从根据WHERE子句筛选的配置单元表格中选择具有特殊字符的数据，特别是Tab和NewLine。我已尝试我已尝试like '%\n%'、like '%\t%'、like '%hex(9)%'等，但它们似乎不起作用。还试图创建一个虚表来插入这样的数据，但也不起作用。请帮帮忙。推荐答案使用rlike '\t'表示制表符，rlike '\n'表示换行符(使用双反斜 ..

发布时间：2022-03-31 11:47:36 hive special-characters etl hiveql 其他开发

配置单元：转换"；yyyy-MM-dd'；T'；HH:mm:ss.SSS'；Z'；"；中缺少秒的字符串日期时间

我使用以下代码将字符串DATETIME变量转换为DATETIME，但转换后的字符串缺少SSS部分。使用的代码： cast(FROM_UNIXTIME(UNIX_TIMESTAMP(oldtime, "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'"),"yyyy-MM-dd HH:mm:ss.SSS") as timestamp) as newtime 结果： 2 ..

发布时间：2022-02-22 09:28:22 datetime hadoop hive hiveql cloudera 其他开发

配置单元中的时间戳解析

我正在尝试读取时间戳，并根据我的要求(在配置单元中)以不同的格式重新构建它。但是，我似乎记不清月份和日期。我怀疑时间戳格式不正确，但不确定哪里出错了。查询 select from_unixtime(unix_timestamp("Sun Mar 28 19:51:10 GMT+05:30 2021", "EEE MMM dd HH:mm:ss z YYYY"), "HH:mm:ss ..

发布时间：2022-02-22 09:26:56 sql hive timestamp hiveql simpledateformat 其他开发

自定义 Mapper 和 Reducer 与 HiveQL

问题陈述:- 我需要比较两个表 Table1 和 Table2 并且它们都存储相同的东西.所以我需要比较 Table2 和 Table1 因为 Table1 是需要进行比较的主表.因此，在比较之后，我需要报告 Table2 存在某种差异.这两张表有很多数据，大约 TB 的数据.所以目前我已经编写了 HiveQL 来进行比较并取回数据. 所以我的问题是在 PERFORMANCE 方面哪个 ..

发布时间：2022-01-13 23:57:11 performance hadoop mapreduce hive hiveql 其他开发

Hive 分组中的减速器数量和计数(不同)

有人告诉我 count(distinct ) 可能会导致数据倾斜，因为只使用了一个 reducer. 我使用一个包含 50 亿条数据和 2 个查询的表进行了测试，查询 A: 从 tableA 中选择 count(distinct columnA) 查询 B: 选择 count(columnA) from(从 tableA 中按 columnA 分组选择 columnA) 实际 ..

发布时间：2022-01-13 23:51:42 hadoop hive mapreduce hiveql hive-configuration 其他开发

在 Hive 中分解结构数组

这是下面的 Hive 表如果不存在则创建外部表 SampleTable(USER_ID BIGINT，NEW_ITEM ARRAY>) 这就是上表中的数据- 1015826235 [{"product_id":220003038067,"timestamps":"1340321132000"},{"p ..

发布时间：2022-01-13 23:13:56 hadoop mapreduce hive hiveql 其他开发

如何使用列类型 Timestamp 创建外部 Hive 表

我想从 HDFS 中包含 epoch 的文本文件创建一个外部 Hive 表.假设该文件位于 /user/me/test.txt.这是文件内容: 13541839211354183922 我已经安装了 Hive 0.8.1 并且应该能够使用类型 Timestamp，所以我创建了表: 蜂巢>创建外部表 test1(纪元时间戳)位置'/用户/我'; 然后我查询了表: SELECT * FROM ..

发布时间：2022-01-13 09:33:19 timestamp hive hiveql 其他开发

如何在蜂巢中获得毫秒精度?

文档说时间戳支持以下转换: •浮点数值类型:解释为 UNIX 时间戳，以秒为单位，精度为小数首先，我不知道如何解释.如果我有一个时间戳 2013-01-01 12:00:00.423，我可以将其转换为保留毫秒的数字类型吗?因为这就是我想要的. 更一般地说，我需要在时间戳之间进行比较，例如从 mytable 中选择 maxts - mints 作为延迟其中 maxts 和 ..

发布时间：2022-01-13 09:12:17 hadoop timestamp hive hiveql 其他开发

在 Hive 查询中面临生成缺失日期的问题

我有一个要求，我需要返回一列的先前值直到 1000 行，并为我的下一步获取先前的 1000 个日期，但是表中的该列不存在所有这 1000 个先前的日期.但我需要那些缺失的日期才能从查询的输出中获取. 当我尝试在查询下运行时，它没有显示当前日期的 1000 个以前的日期值. 示例:假设只有 2 个日期可用于日期列日期2019-01-162019-01-19 我想出了一个查询来取回 ..

发布时间：2022-01-11 14:38:06 sql date hive calendar hiveql 其他开发

hiveql相关内容