hdinsight相关内容
我们正在创建一个用于运行pySpark作业的DataFactory，该作业使用HDInsight点播群集. 问题在于，我们需要使用其他python依赖项来运行此作业，例如numpy，这些依赖项尚未安装. 我们相信，这样做的方法是为HDInsightOnDemandLinkedService配置脚本操作，但是我们无法在DataFactory或LikedServices上找到此选项.
..
我正在尝试读取HDInsight Spark/Jupyter群集中的avro文件，但得到了 u'Failed to find data source: com.databricks.spark.avro. Please find an Avro package at http://spark.apache.org/third-party-projects.html;' Traceback (
..
我有1个WorkerNode SPARK HDInsight集群.我需要在Pyspark Jupyter中使用scikit-neuralnetwork和vaderSentiment模块. 使用以下命令安装库: cd /usr/bin/anaconda/bin/ export PATH=/usr/bin/anaconda/bin:$PATH conda update matplotl
..
我是新用户.我刚刚在西欧部署了一个新的HDinsight Spark，它具有2个头节点(8个核心)和4个工作节点(16个核心).我在那里什么都没做.但是它表明“没有足够的内存来打开" Zeppelin，ambari和所有其他服务.我什么都不能用 完全没有.有人碰巧知道发生了什么事，以及如何解决吗? 解决方案 要修改NameNode Java堆大小. HDFS => 配置 => 高
..
部署了一直在“应用更改"的Spark集群.在过去的一个小时内.根据我所读的内容，除非Microsoft有人手动将其停止，否则此操作将永远持续下去.我也曾尝试使用Azure CLI删除它，但无济于事. 解决方案 你好， 您的集群仍然卡住了吗? 如果您有支持计划，则可以按此处所述打开请求: https://docs.microsoft.com/zh-cn/azure/azur
..
诊断 引发了异常 java lang OutOfMemoryError 堆空间 诊断 引发了异常 java lang NoClassDefFoundError org apache 常见 邮件 DefaultAuthenticator 电子邮件 电子邮件 setHostName "smtp.googlemail.co
..
从@denfromufa通过Twitter: 正在发行: https://github.com/Microsoft/AzureNotebooks/issues/112 "我如何从笔记本界面获得sudo根权限?我正在尝试安装一些依赖项，例如clang. 也许是这样，但仍不清楚: https://docs.microsoft.com/zh-CN /azure/virtual-m
..
有人可以将我指向Wiki和github链接吗? 解决方案 寻找Wiki链接以开始使用
..
上下文:HDInsight群集版本2.6.5.8-7 如何复制: 在网关上的 ssh上，用键盘输入一些带有重音符号的文本(例如“é"，“à"或“ô")，或复制粘贴此行. > 重音正确显示 打开直线会话(或spark-shell，spark-sql或/usr/bin/hive). 键入带有重音符号的文本 带有重音符号的字符将替换为?? 我想这是一个配置问题，但是如果默认配
..
我对AZURE HDInsights有疑问.我如何根据本地基础结构设计AZURE HDInsights集群?主要参数有哪些 设计集群之前我需要考虑什么? (例如)如果我有100台本地运行的服务器，则需要像这样在我的Cloud Cluster中选择多少个节点. ?!!在AWS中，我们有EMR调整大小计算器和Cluster Planner/Advisor.我们是否有 除了定价计算器，AZURE中是否有
..
嗨，在Cloudshell问题无法登录之后，今天，用于创建用于连接到Datalake存储的HDIsight群集的服务主体表示权限不足.问题之前从来没有这种情况 使用Cloudshell. 解决方案 有关详细信息，请参阅"". 以防万一，如果您仍然遇到相同的错误；我会要求您分享错误消息的屏幕截图吗? 如果您不允许发布图片，则可以在此处验证您的帐户:
..
您好，Azure支持团队， 我需要从Azure App Service连接HDInsight Kafka.根据文档，我已通过VNET将Azure App Service与HDInsight Kafka连接.我能够从App Service控制台到Kafka工作程序节点进行tcpping操作 tcpping 10.2.X.X:9092 一切正常. 但是从我的Java应用
..
大家好， 我在HD Insight上具有一个Hive LLAP群集，其内容为: 2个头节点DS13v2 8个工作节点DS14v2 3个Zookeeper节点A3 我的集群位于北欧地区，仅DS系列可用，但技术团队可能会为我们提供H系列和ESv3系列. 我想了解有关所有不同配置(G，H，E等)的更多详细信息: 服务器(戴尔，HP等) 型号 CPU 内存(DDR4
..
上的教程进行操作 ％livy.spark //上面的魔法指示齐柏林飞艇使用Livy Scala解释器 ///使用默认的Spark上下文sc 创建一个RDD val hvacText = sc.textFile("wasb:///HdiSamples/HdiSamples/SensorSampleData/hvac/HVAC.csv") //定义架构 案例类Hvac(日
..
嗨， 我已经尝试了很多次，但仍然无法让HDInsight群集加入ADDS域. 我得到的错误是: " 资源操作以终端供应状态"Failed"完成. ":[{{\" code \":\"FailedToJoinToDomain \"，\“消息\":\“失败 加入域XXXXXXX.com.输出=无法加入域:无法连接到AD:无法为请求的领域联系任何KDC \\ n，错误= kerbero
..
团队， 运行oozie的火花作业时，我遇到了一个问题.作业失败，出现以下错误， 用户类抛出异常:java.lang.NoClassDefFoundError:org/apache/spark/sql/SparkSession $ java.lang.NoClassDefFoundError:org/apache/spark/sql/SparkSession $ 原因:java.lan
..
嗨，我正在尝试使用腻子通过ssh连接到hadoop集群，但是它说访问被拒绝.昨天我一次可以使用相同的密码连接，一次又一次我无法连接.我可以使用相同的用户名和密码连接到ambari，我尝试过 重置azure仪表板上ssh的凭据，但我仍然无法连接到它. 由于新帖子的限制，我无法附加图片或链接. 解决方案 如果您使用以下语法使用腻子进行连接(您将收到拒绝访问的信息): ssh&s
..
嗨 我有一些scala代码，我希望将其提交给Hdinsight(火花)，该行在此行已损坏: val landDF = parseRDD(spark.Context.textFile(datapath)).map(parseLand).toDF().cache() 使用intellij作为scala，它对我大哭:“无法解析符号parseRDD" 我想念什么?依赖还是什
..
还是 解决方案 Hadoop服务在HDInsight上使用的端口.另外，您可以参考SO中的类似讨论 这里.看看是否有帮助. --------------- -------------------------------------------------- ------------------------------ 如果此答案有帮助，请单击“标记为答案"或投票.要提供有关
..
您好， 我无法命名集群(我正在尝试创建Spark集群).一直到昨天都工作，但是今天它不接受任何群集名称.请帮忙！ 谢谢！ 穆克什 解决方案 更新: 请 请注意，美国中南部地区发生了一个已知问题.请按照下面的状态页面进行进一步更新.我们想向您保证，我们将尽快使服务恢复在线. 天蓝色状态: https://azure.microsoft.com/en-us/stat
..
