如何在蜂巢中以驼峰式命名保留列名
选择“12345"作为“EmpId"； -- 输出为 empid，值为 12345 是否有任何线索使列名与 EmpId 保持相同? 解决方案 不可能.这是 HIVE Metastore 的限制.它以全小写形式存储表的模式. Hive 使用这种方法来规范化列名，参见 Table.java private static String normalize(String col
..
hiveql相关内容
Hive 排序数组列相对于同一表中的其他数组列
我在 hive 中有一个表，有 2 列作为 col1 array 和 col2 array.输出如下图 col1 col2[1,2,3,4,5] [0.43,0.01,0.45,0.22,0.001] 我想按升序对 col2 进行排序，col1 也应该相应地更改其索引，例如 col1 col2[5,2,4,3,1] [0.001,0.01,0.22,0.43,0.45] 解决方案 分解两
..
Hive:如何用地图列分解表格
我有一张这样的桌子 +-----+------------------------------+|身份证 |mapCol |+-----+------------------------------+|id1 |{key1:val1, key2:val2} ||id2 |{key1:val3, key2:val4} |+-----+------------------------------+
..
创建在列的特定值上重置的排名
我当前的数据是这样的(注意它是按日期时间排序的): +----------------+---------------------+---------+|客户编号 |日期 |频道 |+----------------+---------------------+---------+|120584446 |2015-05-22 21:16:05 |一个 ||120584446 |2015-05-2
..
使用 like 运算符检查配置单元中的模式
我需要从 hive 表中检索必须以大写字母开头并以数字结尾的列.我用过这个查询 select * from tab1 where col1 like '[A-Z]%[0-9]'; 但无法检索记录，只能得到空结果. 解决方案 rlike/regexp select * from tab1 where col1 rlike '^[A-Z].*[0-9]$';
..
在 Hadoop Hive 中给定时间戳，如何获取一周第一天的日期?
除了编写自定义 UDF 来支持此问题外，是否有任何已知的方法可以实现此目的?我目前使用的是 Hive 0.13. 解决方案 从 Hive 1.2 开始，你也可以这样做: select next_day(date_sub('2019-01-01', 7), 'MON') 输出: 2018-12-31
..
使用 HiveQL 分解结构数组
如果不存在则创建表 Table2(USER_ID BIGINT，PURCHASED_ITEM ARRAY>) 行格式以“-"结尾的分隔字段以“,"结尾的集合项以“:"结尾的映射键以 '\n' 结尾的行存储为文本文件LOCATION '/user/rj/output2'; 以下是表2中的数据 1345653-110909316904:1341894546,221065796761:1341887
..
HiveQL 和 rank()
我无法理解 HiveQL rank().我在 WWW 上找到了几个 rank UDF 的实现，例如 Edward 的好例子.我可以加载和访问这些功能，但我无法让它们做我想做的事.下面是一个详细的例子: 将 UDF 加载到 CLI 过程中: $ javac -classpath/home/hadoop/hadoop/hadoop-core-1.0.4.jar:/home/hadoop/hiv
..
Hive - 可以提取常见选项以在其他脚本中重用吗?
我有两个 Hive 脚本，如下所示: 脚本 A: SET hive.exec.dynamic.partition=true;SET hive.exec.dynamic.partition.mode=非严格；SET hive.exec.parallel=true;... 做一点事 ... 脚本 B: SET hive.exec.dynamic.partition=true;SET hi
..
Hive SELECT 语句来创建一个 STRUCTS 数组
我无法选择 Hive 中的结构数组. 我的源表如下所示: +-------------+--+|领域|+-------------+--+|身份证 ||字段ID ||字段标签 ||字段类型 ||answer_id ||单位名称 |+-------------+--+ 这是调查数据，其中id是调查id，中间的四个字段是响应数据，unitname是调查所属的业务单位. 我需要为每个调查
..
hive 中“加载数据 inpath"和“location"的区别?
在我的公司，我看到这两个命令经常使用，我想知道它们之间的区别，因为它们的功能在我看来是一样的: 1 创建表(名称字符串，数字双)；将数据 inpath '/directory-path/file.csv' 加载到 ; 2 创建表(名称字符串，数字双)；location '/directory-path/file.csv'; 他们都将数据从 HDFS 上的目录复制到
..
如何使用列类型时间戳创建外部 Hive 表
我想从一个包含 HDFS 纪元的文本文件创建一个外部 Hive 表.假设文件位于 /user/me/test.txt.文件内容如下: 13541839211354183922 我安装了 Hive 0.8.1 并且应该能够使用类型时间戳，所以我创建了表: hive>创建外部表 test1(纪元时间戳)LOCATION '/用户/我'; 然后我查询了表: SELECT * FROM test
..
Hive Data 根据时间戳选择最新值
我有一个包含以下列的表格. C1,C2,Process TimeStamp,InsertDateTimeStampp1,v1,2014-01-30 12:15:23,2013-10-01 05:34:23p1,v2,2014-01-31 05:11:34,2013-12-01 06:12:31p1,v3,2014-01-31 07:16:05,2012-09-01 07:45:20p2,v4,2
..
Hive 连接优化
我有两组数据都存储在 S3 存储桶中，我需要在 Hive 中处理这些数据并将输出存储回 S3.每个数据集的样本行如下: DataSet 1: {"requestId":"TADS6152JHGJH5435", "customerId":"ASJHAGSJH","sessionId":"172356126"}数据集2:{"requestId":"TADS6152JHGJH5435","userAg
..
使用参数在 Hive 中创建视图
我有一个表格，其中包含属于不同日期的行.我想创建一个视图，它应该根据日期为我提供数据 创建查看新用户作为选择 DISTINCT T1.uuidFROM user_visit T1WHERE T1.firstSeen="20140522"; 我不想修复 WHERE T1.firstSeen="20140522";它可以是任何日期，如 20140525 等.有什么办法可以创建一个以日期为参数的视图
..
Hive 解释计划理解
有没有什么合适的资源可以让我们完全理解hive生成的解释计划?我曾尝试在 wiki 中搜索它，但找不到完整的指南来理解它.这是 wiki，它简要解释了解释计划的工作原理.但我需要有关如何推断解释计划的更多信息.https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Explain 解决方案 我会尽量解释我所知道的.
..
Hive QL - 每个项目的行数限制
如果我在 where 子句中列出了多个项目，如何将列表中每个项目的结果限制为 N? 例如: select a_id,b,c, count(*), as sumrequests来自表名在哪里a_id in (1,2,3)按 a_id,b,c 分组限制 10000 解决方案 听起来您的问题是要获得每个 a_id 的前 N 个.您可以使用 Hive 11 中引入的窗口函数来完成此操作.例
..
hive 表中 count(*) 结果错误
我在 HIVE 中创建了一个表 如果不存在则创建表 daily_firstseen_analysis (第一次看到 STRING，类别字符串，圈STRING，指定字符串，语言字符串，osType 字符串，算INT)PARTITIONED by (day STRING)行格式分隔以 '\t' 结尾的字段作为兽人存储； count(*) 没有给我正确的结果 hive>从daily_firstse
..
Spark 2:当 SparkSession enableHiveSupport() 被调用时它是如何工作的
我的问题很简单，但不知何故，我无法通过阅读文档找到明确的答案. 我在 CDH 5.10 集群上运行 Spark2.还有 Hive 和 Metastore. 我在我的 Spark 程序中创建了一个会话，如下所示: SparkSession spark = SparkSession.builder().appName("MyApp").enableHiveSupport().getOrC
..
Hive LEFT SEMI JOIN 表示“不存在"
我有两个表，只有一个键列.表 a 中的键是表 b 中所有键的子集.我需要从表 b 中选择不在表 a 中的键. 这是 Hive 手册中的引文:“LEFT SEMI JOIN 以有效的方式实现了不相关的 IN/EXISTS 子查询语义.从 Hive 0.13 开始，使用子查询支持 IN/NOT IN/EXISTS/NOT EXISTS 运算符，因此大多数这些 JOIN 不再需要手动执行. 使用L
..