jooq扩展现有的方言。采用MySQL方言来apache Hive方言
我正尝试使用JOOQ来查询Hive。 Hive SQL方言对于MySQL方言来说是相当沉重的。 现在我遇到了这些问题： Hive支持LIMIT N，它不支持LIMIT N OFFSET K. Dummy solution - 覆盖 select.limit（limit）; 这样的问题在JOOQ？ 解决方案 这是最脏的解决方案:) JOOQ用户组不幸回答： publ
..
hive相关内容
配置单元断开的管道错误
INSERT INTO OVERWRITE .... TRANSFORM（... 。）USING'python script.py'FROM .... LEFT OUTER JOIN。 。 。左外连接。 。 。 LEFT OUTER JOIN 开始时一切正常，直到我们加载了大量的虚拟数据。我们只是在一些字段上写下相同的记录，而且变化很小。之后，我们再次运行这个程序，我们得到一个断开的管道错误
..
在Spark中将Dataframe存储到配置单元分区表
我试图将来自kafka主题的数据流存储到配置单元分区表中。我能够将dstream转换为数据框并创建一个配置单元上下文。我的代码看起来像这样 val hiveContext = new HiveContext（sc） hiveContext.setConf（“hive.exec。 dynamic.partition“，”true“） hiveContext.setConf（”hive.e
..
可以从文件加载hiveconf变量吗？ （与HiveQL文件分开）
一个简单的例子是： set mindate ='2015-01-01 00:00:00' set maxdate ='2015-04-01 00： 00:00' select * from my_table where $ {hiveconf：mindate}和$ {hiveconf：maxdate} 之间的日期 然后通过 hive -f myfile.sql>运行。 m
..
使用Hbase配置Hive
我需要使用配置单元在HBase上执行查询。我已经下载了HBase并配置了我的HMaster，运行良好;我需要知道我需要为配置单元使用HBase作为后端数据库进行哪些配置更改。任何链接教程将不胜感激。 在此先感谢。 解决方案 apache Hive wiki很好地解释了它 https://cwiki.apache.org/confluence/display/Hive/HBaseInteg
..
插入覆盖目录的Hive Case声明
当尝试使用以下逻辑运行HQL脚本时，我收到错误： ParseException line 4：0 can not识别'CASE'附近的输入当在serde属性说明中给出'mytable' 脚本逻辑 INSERT OVERWRITE DIRECTORY'/ example / path' ROW FORMAT DELIMITED FIELDS TERMINATE
..
HIVE JDBC ThriftHive $ Client.sendBase
我有Hadoop / hive的工作。我已经安装了hadoop和hive，它在命令提示符下运行良好。我还创建了一个hive的MySQL元存储。我已经在hive-site.xml文件中定义了HIVE-DB数据库名称。同名数据库可用于MySQL> HIVE-DB。但是，在命令提示符下创建的表在mysql命令提示符中不可用。 当我想创建一个配置单元jdbc连接，然后得到以下错误..首先它是我的程序创建
..
理论上可以在配置单元中使用并置连接（a-la-netezza）吗？
当您连接分布在同一个键上的表并在联接条件中使用这些键列时，netezza中的每个SPU（机器）都会独立于另一个工作（参见 nz-interview ）。 在配置单元中，有 bucketed地图连接，但是将表示这些表的文件分配给datanode是HDFS的责任，它不是根据hive CLUSTERED BY键完成的！假设我有两个表，由相同的密钥组成，我通过这个密钥加入 - 可以从HDFS获得一个
..
FIWARE-Cosmos的headnode的SSH访问
我遵循此指导Hadoop / FIWARE-Cosmos，我对Hive部分有疑问。 我可以访问旧集群（ cosmos.lab.fiware .org ）通过SSH的headnode，但是我不能为新的集群做。我尝试了 storage.cosmos.lab.fiware.org 和 computing.cosmos.lab.fiware.org 并且失败连接。 我试图通过SSH连接的意图是
..
如何生成HIVE中的日期系列？ （创建表）
假设我目前有一个表，每个帐户有一行，表中的数据是： 帐号 li> 开始日期 结束日期 d希望创建一个新表格，该表格每天有一行帐户处于打开状态，即每个帐户的开始日期和结束日期（含）之间的每一行为1天。 例如 表1 帐号开始日期结束日期 123 1-Jan-17 1-Jul-17 456 1-Feb-17 4-May-17 （所需表格） 账户号码日
..
时间戳是否在Apache Hive中使用时区存储？
以下讨论似乎表明Hive时间戳有一个时区： https://community.hortonworks.com/questions/83523/timestamp-in-hive-without-timezone.html 我指的是： https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types# Languag
..
如果Hive失败，请停止Bash脚本
我有一个bash脚本，它可以遍历一个文件夹并处理所有* .hql文件。有时候，其中一个配置单元脚本失败（语法，资源约束等），而不是脚本失败，它将继续到下一个.hql文件。 无论如何，我可以阻止bash处理剩下的东西？以下是我的示例bash： 对于`ls $ {layer} / *。hql`中的i echo“Processing $ i ...” hive $ {hivecon
..
Spark SQL“限制”
Env：使用Hadoop的spark 1.6。 Hortonworks Data Platform 2.5 我有一张包含100亿条记录的表，我希望获得3亿条记录并将它们移动到临时表中。 sqlContext.sql（“select .... from my_table limit 300000000”）。repartition（50） .write.saveAsTable（“tem
..
Hive2& JDBC - 必填字段'serverProtocolVersion'未设置
我试图使用 Driver连接到配置单元org.apache.hive.jdbc.HiveDriver private static String driverName =“org.apache.hive.jdbc.HiveDriver”; $ b $ public void（String query）throws SQLException { try { Class.forN
..
如何使用sqoop在Hive中创建外部表。需要建议
使用sqoop我可以创建托管表，但不能创建外部表。 请让我知道从数据仓库中卸载数据并将其加载的最佳实践Hive外部表。 1.仓库中的表是分区的。一些是明智的分区，一些是明智的分区。 请在生产环境中使用您的想法或做法。 解决方案 Sqoop不支持创建Hive外部表。相反，您可以：使用Sqoop codegen命令生成用于创建与远程RDBMS表相匹配的Hive内部表的SQL（
..
将环境变量传递给Hive Transform或MapReduce
我试图将一个自定义环境变量传递给Hive变换 中使用的可执行文件（my-mapper.script，如下例所示）： SELECT TRANSFORM（x，y，z） 使用'my-mapper.script' FROM （ SELECT x，y，z FROM 表 ） 我知道在Hadoop流媒体中，可以使用 -cmdenv EXAMPLE_DIR =
..
Spark上的Hive 2.1.1 - 我应该使用哪个版本的Spark
我在Ubuntu 16.04上运行 hive 2.1.1 ，hadoop 2.7.3。 根据 Hive on Spark：Getting Started ，它说 安装/构建兼容版本。 Hive root pom.xml的 定义了它构建/测试的 的Spark版本。 我检查过 1.6.0 spark.version>
..
HIVE中的外部表格 - 从原始数据集中转义双引号
我有一个带有字符串和整型值的文件。所有的字符串都是用“”括起来的。“ int_value1，”string_value2“，int_value3，”string_value4“ 在HIVE中创建 EXTERNAL TABLE 时需要使用哪个参数所有字符串没有“？ 问候 Pawel 解决方案 您可以试试这个吗？。根据您的需要将表格更改为外部。
..
Hive中的CASE语句
好的，我有一个下面的代码来标记tabl中带有二进制标志的month_cd最高的记录： 选择t1。 month_cd，t2.max_month_cd ，CASE WHEN t2.max_month_cd！= null then 0 else 1 end test_1 ，CASE WHEN t2.max_month_cd = null then 0 else 1 end test_2 f
..
Hive Transactions正在崩溃
好的，我一直在处理这个问题几天，这让我感到非常紧张。我需要在事务中使用Hive数据库来执行'update'和'delete'操作。 我在我的机器上以伪分布模式安装了Hadoop和Hive。我已按照此教程进行安装。我使用的是Java 1.8.0_31，Hadoop 2.6.0，Hive 1.0.0，并且我还修改了一些细节，但这些细节不应该相关。 start-dfs。 sh star
..