电光独立版：传输请求处理程序：调用RpcHandler时出错-在不同计算机/VM上启动工作程序时 [英] Spark Standalone: TransportRequestHandler: Error while invoking RpcHandler - when starting workers on different machine/VMs

问题描述

我在这方面完全是新手，如果有明显的错误，请原谅。

精确错误： 《在奴隶》： Info TransportClientFactory：69毫秒后成功创建到/10.2.10.128：7077的连接(0毫秒用于引导) 警告工作进程：无法连接到主10.2.10.128：7077

在Master： 资讯大师：我被选为领袖！新状态：活着 错误TransportRequestHandler：在RPC ID 7626954048526157749上调用RpcHandler#Receive()时出错

我尝试/处理的小背景和小事情：

• imp：我是从Spark的源代码构建的
• 免密码SSH
• 将主机名正确添加到/etc/hosts
• 主从机(SPARK_MASTER_HOST、_PORT、CORE、INSTANCES等)上的spark-env.sh正确设置
• conf/Slaves具有正确的从属主机名
• 已尝试关闭两端的防火墙
• 已使用‘nc’使用正确的端口检查2之间的连接
• 重新运行生成和测试

有没有人遇到过类似的情况。感谢您的任何帮助，谢谢。

推荐答案

这是Noob的错误。

来自http://spark.apache.org/faq.html： 我是否需要Hadoop来运行Spark？ 不需要，但如果您在集群上运行，您将需要某种形式的共享文件系统(例如，在每个节点上的相同路径上挂载的NFS)。如果您有这种类型的文件系统，您可以只在独立模式下部署Spark。

我没有设置NFS或启动Hadoop服务，因此导致失败。启动Hadoop服务已在独立模式本身修复该问题。

这篇关于电光独立版：传输请求处理程序：调用RpcHandler时出错-在不同计算机/VM上启动工作程序时的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！