Spark 扁平化数据帧
开始使用 spark 我想知道如何flatmap 或 explode 数据帧. 它是使用 df.groupBy("columName").count 创建的，如果我收集它，它具有以下结构: [[Key1, count], [Key2, count2]] 但我更喜欢像 Map(bar -> 1, foo -> 1, awesome -> 1) 实现此类目标的正确工具是什么?平面图，爆
..
spark-jobserver相关内容
错误“此上下文的作业类型无效"在 Spark 作业服务器的 Spark SQL 作业中
我使用 Spark 作业服务器创建了一个 Spark SQL 作业，并按照以下示例使用 HiveContext:https:///github.com/spark-jobserver/spark-jobserver/blob/master/job-server-extras/src/spark.jobserver/HiveTestJob.scala 我能够启动服务器，但是当我运行我的应用程序
..
从DSE 4.6到DSE 4.7找不到Spark程序集
将DSE 4.6升级到4.7后，job-server-0.5.0出现问题。如果我运行server_start.sh，将收到错误 “在/usr/share/dse/spark/assembly/target/scala-2.10 中找不到Spark程序集。运行此程序之前，您需要先构建Spark程序。” 我在/usr/share/dse/spark/bin/compute-classpath
..
Apache Spark Rest API
我正在使用具有log4j属性的spark-submit命令来调用Spark-submit，如下所示: /opt/spark-1.6.2-bin-hadoop2.6/bin/spark-submit \ --driver-java-options \ "-Dlog4j.configuration=file:/home/test_api/log4j-driver.properties\ --cl
..
从Java的另一个应用程序部署Apache Spark应用程序，最佳实践
我是Spark的新用户。我有一个Web服务，允许用户通过从数据库读取并将结果推回到数据库来请求服务器执行复杂的数据分析。我已将这些分析转移到各种Spark应用程序中。目前，我使用spark-submit来部署这些应用程序。 但是，当我的Web服务器（用Java编写）收到用户请求时，我很好奇， “最佳实践”方式启动相应的Spark应用程序？ Spark的文档似乎是使用“spark-submit
..
错误＆QUOT;无效作业类型此上下文＆QUOT;在星火作业服务器火花SQL作业
我创建的火花作业服务器的火花SQL作业，并使用HiveContext按照下面的示例：
..
星火不上不下dataframes
入门的火花，我想知道如何 flatmap 或爆炸一个数据帧。 它使用 df.groupBy（“columName”）创建计数并具有以下结构，如果我收集它。 [密钥1，计数]，[密钥2，COUNT2] 不过，我更希望有类似地图（巴 - →1，富 - →1，真棒 - →1） 什么是实现这样的合适的工具？ Flatmap，爆炸或其他什么东西？ 上下文：我想用火花jobserver。它似乎只
..
建立火花jobserver使用SBT和Scala
任何人都可以提出我关于火花jobserver一个更好的文档。我已经通过URL 火花jobserver 但无法遵循相同。这将是巨大的，如果有人解释如何使用火花jobserver一步一步的指导。 在建设项目中使用 工具。 SBT发射版本0.13.5 斯卡拉code亚军版本2.11.6 通过上面提到的工具我得到的错误，同时建立火花jobserver。 解决方案 下面是我用来安装步
..
星火jobServer不启动
我刚刚拿到了，当我尝试初始化星火Jobserver一个奇怪的问题。 好像它在寻找一个错误的目录。是否有人对此有所了解？也许我失去了一些东西，但目录/ usr /共享/ DSE /斌/ DSE doesnt't存在于一切！ -bash-4.2 $ DSE火花jobserver启动 /usr/share/dse/spark/spark-jobserver/server_start.sh：行82：
..
从Java中的其他应用程序部署阿帕奇星火应用，最佳实践
我是星火的新用户。我有一个Web服务，它允许用户请求，服务器通过从数据库中读取与推结果返回给数据库以执行一个复杂的数据分析。我提出这些分析的成各种星火应用。目前我使用的火花提交来部署这些应用程序。 不过，我很好奇，当（Java编写的），我的Web服务器接收用户请求，什么被认为是“最佳实践”的方式来启动相应的应用程序星火？星火的文档似乎是用“火花提交”但我宁愿给终端管出来的命令来执行此操作。我
..
我运行的Apache SparkJob工作的服务器上
我有工作的Apache服务器的一个问题，我与SparkJob的.jar。 我有VirtualBox的与DataStax。有卡桑德拉和星火。我安装从混帐作业服务器工作的Apache服务器。我想运行例子，让我写 SBT从终端作业服务器的测试/包装和下一个运行作业的服务器SBT重新启动 从工作服务器工作实例 卷曲--data二进制@ /家庭/工作 - 服务器/作业服务器的测试/目标/ job.
..