我想我的所有现有UDTFs转换成蜂巢Scala的功能和使用它从SQL星火
任何一个可以给我一个例子UDTF（例如，爆炸）用Scala编写返回多行和SparkSQL使用它作为UDF？ 表：表1 + ------ + ---------- + ---------- + |用户id | someString |瓦拉| + ------ + ---------- + ---------- + | 1 |例1 | [0，2，5] | | 2 |示例2 | [1，20，5]
..
hive相关内容
星火是否支持subqqueries？
当我运行此查询我得到这个类型的错误 SELECT * FROM raw_2其中ip NOT IN（选择raw_1 *）; org.apache.spark.sql.AnalysisException： 在查询不支持的语言功能： SELECT * FROM raw_2其中ip NOT IN（选择raw_1 *） TOK_QUERY 1，0,24，14 TOK_FROM
..
Hadoop的2.7，星火，蜂巢，JasperReports的，炒到 - Architecuture
这一切的第一个没有寻求帮助的问题，以逐步部署以下组件的步骤。什么我问的是关于如何架构应设计一个建议。我正打算做的是开发利用现有的数据报告平台。以下是我的数据采集通过研究。的 我有一个现有的关系型数据库里面有大量的记录。所以我用 炒到 - 提取RDBMS数据的Hadoop 的Hadoop - 存储平台 蜂巢 - 数据仓库 星火 - 由于蜂巢更像是蜂巢批处理星火将加快东西 Jasper
..
阿帕奇星火：均线
我写在星火/斯卡拉的应用程序中，我需要计算列的指数移动平均线。 EMA_t =（price_t * 0.4）+（EMA_t-1 * 0.6） 我现在面临的问题是，我需要在同一列的previously计算值（EMA_t-1）。通过MySQL的这是有可能通过使用模型或通过创建一个EMA列然后可以更新每行排，但我尝试这样做，与星火SQL或蜂巢语境......无论工作有什么办法我可以访问这EMA_
..
Pyspark：映射一个SchemaRDD成SchemaRDD
我加载JSON对象的文件作为pyspark SchemaRDD 。我想改变的对象（基本上，我压扁他们）的“形状”，然后插入到蜂巢表。 我的问题是，下面的返回 PipelinedRDD 不是 SchemaRDD ： log_json.map（flatten_function） （这里的 log_json 是 SchemaRDD ）。 是否有任一种方法来preserve型，强制转换回所需的类
..
从斯卡拉访问鲨鱼表（蜂巢）（鲨鱼壳）
我鲨鱼0.8.0 运行在蜂巢-0.9.0 。我可以通过调用鲨鱼在蜂巢编程。我创建了一些表格和数据加载它们。 现在，我尝试使用斯卡拉来访问这些表中的数据。我通过调用鲨鱼壳的斯卡拉外壳。但是，当我尝试选择，我得到一个错误，该表是不是present。 斯卡拉＆GT; VAL艺术家= sc.sql2rdd（“从default.lastfm选择艺术家”）蜂巢历史文件=的/ tmp / hduser2 /
..
保存数据框星火在蜂巢动态分区表
我有一个示例应用程序的工作从CSV文件读入数据帧。数据框可以使用方法来存储到一个蜂巢表格式的实木复合地板 的 df.saveAsTable（表名，模式）的。 以上code正常工作，但我每天这么多的数据，我想动态分区基础上，creationdate蜂箱表（表中的列）。 有没有什么办法来动态分区数据框，并将其存储到仓库蜂房。要从硬编码使用INSERT语句的 hivesqlcontext.sql不
..
在纱集群模式下运行时没有发现蜂巢表
我有一个火花（1.4.1版）的应用上HDP 2.3。纱线客户端模式下运行时，它工作正常。然而，纱线群集模式没有我的蜂巢表运行时，它可以通过应用程序被发现。 我递交申请，像这样： ./斌/火花提交 --class com.myCompany.Main --master纱线集群 --num-执行人3 --driver-4G内存 --executor内存10
..
为什么我的BroadcastHashJoin是星火比ShuffledHashJoin慢
我执行加入星火使用 javaHiveContext 。 大表是1,76Gb并拥有100百万的纪录。 第二个表是273Mb，并具有1000万的纪录。 我收到了 JavaSchemaRDD ，我叫计数（）就可以了： 字符串查询=“从英尺选择attribute7，COUNT（*），DT，其中ft.chiavedt = dt.chiavedt组由attribute7”;JavaSchemaRDD
..
如何计算中位数火花sqlContext数据类型为双列
我已经给出了示例表。我想从每个组的“源”列“值”列中的值。哪里 源列是字符串数据类型 值列是双数据类型的 斯卡拉＆GT; sqlContext.sql（“SELECT * FROM TTAB为了通过源”）。秀+ --------------- + ----- + |来源|值| + --------------- + ----- + | 131.183.222.110 | 1.0 | | 13
..
什么是Apache的星火SQLContext VS HiveContext区别？
什么是Apache的星火SQLContext和HiveContext之间的区别是什么？ 有消息说，由于HiveContext是SQLContext开发的超集应始终使用HiveContext具有比SQLContext更多的功能。但是每上下文的当前API的大多是一样的。 什么是它SQLContext / HiveContext是比较有用的场景？ 是HiveContext更有益与蜂巢的工作
..
多星火应用与HiveContext
有了这样的地方的 SQLContext 让两个应用程序失败的一个实例化 HiveContext 两个独立pyspark应用与错误： 例外：（“你必须建立星火与蜂巢导出”SPARK_HIVE =真正的'和运行编译/ SBT大会“，Py4JJavaError（u'An同时呼吁None.org.apache.spark.sql.hive.HiveContext发生错误\\ N'，JAVAOBJEC
..
黑斑羚创建表，并用java添加数据
我想创建一个黑斑羚表，使用Java数据添加到它。 1）我应该如何为黑斑羚连接？ 2。）我可以直接创建一个黑斑羚表或者我应该创建一个蜂巢表，并用黑斑羚访问它？ Java程序或code片段会有所帮助。 解决方案 您可以使用黑斑羚JDBC驱动程序。 请参照以下
..
在创建表蜂巢例外呢？
我已经安装了蜂巢，但是当我写命令创建表“CREATE TABLE美孚（ID INT，味精STRING）;”。我抛出异常“清理行动已完成 失败：错误元数据：javax.jdo.JDOFatalDataStoreException：无法创建数据库'metastore_db“，请参阅details.NestedThrowables下一个异常：java.sql.SQLException中：无法创建数据库
..
阵列相交蜂巢
我在蜂巢串的两个数组像 {'值1'，'值'，'VALUE3'} {'值1'，'值'} 我想没有重复合并数组，结果是： {'值1'，'值'，'VALUE3'} 我怎么能在蜂巢做呢？ 解决方案 您将需要一个UDF这一点。 Klout的有包下了一堆开源HivUDFS的 brickhouse。这里是 GitHub的链接。他们有一堆UDF的那正好提供你的目的。 下载，构建并添加JAR。下面是
..
如何让apache的蜂房处理多个客户端查询
我已经通过从HBase的蜂巢创建的外部表。当有人在loged壳和部署一些疑问，没有人可以运行任何查询。当有人尝试运行它给以下错误quesry。 失败：错误元数据：了java.lang.RuntimeException：无法实例org.apache.hadoop.hive.metastore.HiveMetaStoreClient 失败：执行错误，返回code 1从org.apache.hado
..
Apache的配置单元SERDE正则表达式：数据类型
有关处理日志，我想使用Apache蜂巢SERDE正则表达式，但我只发现使用String作为数据类型的表列的例子。 现在我的问题是：datebased支持的类型和整数和数组或只是字符串？ 这个例子（和其他人）只使用字符串： CREATE TABLE访问日志（ remote_ip STRING， REQUEST_DATE STRING， 方法STRING， 请求字符串， 协
..
运行蜂巢0.12 SLF4J的错误
使用配置罐中记录初始化：文件：/usr/local/hive/lib/hive-common-0.12.0.jar /hive-log4j.properties SLF4J：类路径中包含多个SLF4J绑定。 SLF4J：在找到的结合[jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/s
..
Sqoop - 无法找到或加载主类org.apache.sqoop.Sqoop
我安装的的Hadoop 蜂巢 HBase的 Sqoop 并添加他们到PATH。 当我尝试执行 sqoop 命令，我得到这个错误： 错误：无法找到或加载主类org.apache.sqoop.Sqoop 开发环境： 操作系统：Ubuntu的12.04 64位 的Hadoop版本：1.0.4 蜂巢版本：0.9.0 HBase的版本：0.94.5 Sqoop版本：1.4.3 解决
..
蜂巢日期函数来实现星期
我正在寻找一个解决办法或蜂房日期功能，它允许星期， 周日 - 1 周一 - 2 周二 - 3 周三 - 4 周四 - 5 周五 - 6 周六 - 7 要求在细节：我正在寻找这需要日期（年月日）作为输入和输出星期按上表中的函数。 解决方案 正如我所说的，你需要写一个UDF，将接受一个字符串作为参数，并返回一个字符串。 在UDF中你需要做以下步骤： 1）使用解析输入字符串的
..