传输端点未连接 - Mesos 从/主
我正在尝试将 Mesos 从站连接到其主站.每当从站尝试连接到主站时，我都会收到以下消息: I0806 16:39:59.090845 935 hierarchy.hpp:528] 添加了从属设备 20150806-163941-1027506442-5050-921-S3 (debian) with cpus(*):1;内存(*):1938；磁盘(*):3777；端口(*):[31000-32
..
mesos相关内容
在一个 url 下在马拉松 (mesos) 中运行 redis
我在 mesos、marathon 中的一个 IP 地址上启动 redis 服务器时遇到问题. 我的步骤 创建包含自己的 redis.conf 的 Dockerfile 我创建了自己的 docker 镜像并将其拉入 docker repo(名称为 arekmax/redis-instancje) 在马拉松中，我启动了我的 docker 镜像 - redis 启动并正常工作. mes
..
apache spark可以在没有hadoop的情况下运行吗?
Spark 和 Hadoop 之间是否存在任何依赖关系? 如果没有，当我在没有 Hadoop 的情况下运行 Spark 时，是否会错过任何功能? 解决方案 Spark 可以在没有 Hadoop 的情况下运行，但它的一些功能依赖于 Hadoop 的代码(例如处理 Parquet 文件).我们在 Mesos 和 S3 上运行 Spark，设置起来有点棘手，但一旦完成就可以很好地运行(您可
..
make -j 8 g++:内部编译器错误:被杀死(程序 cc1plus)
当我在 Ubuntu12.04 上部署 Apache Mesos 时，我遵循官方文档，在步骤“make -j 8"中，我在控制台中收到此错误: g++: 内部编译器错误: Killed (program cc1plus)请提交完整的错误报告，如果合适，使用预处理源.参见为说明.make[2]: *** [sla
..
在 mesos 上为 Foxx/arangodb 自动扩展资源
为了平衡，是否可以单独自动调整foxx和arangodb，并确保自动调整适量的ram/storage/cpu?简单地说，如果尝试自动缩放部署是个好主意，那就足够了. 解决方案 是的，您可以独立扩展 ArangoDB 集群的不同角色，以最好地服务于不同的用例(代理、协调器、数据库服务器). 如果您经常使用 Foxx，那么您可以增加 Foxx 服务所在的协调器实例的数量.您应该能够通过访
..
警告会话 0x0 服务器为空，意外错误，关闭套接字连接并尝试重新连接
我有两个节点，每个节点上都安装了带有 Mesos、marathon 和 zookeeper 的 docker.这是我在主节点上的 docker compose 文件: 版本:'3.7'服务:动物园管理员:图片:ubuntu_mesos_home_marzieh命令:/home/zookeeper-3.4.8/bin/zkServer.sh restart环境:ZOOKEEPER_SERVER_I
..
解决 Mesos 领导大师
我们使用 Mesos 在集群上运行作业.我们使用 haproxy 来指向，例如，mesos.seanmcl.com 指向 Mesos Master. 如果 Master 恰好不是领导者，UI 将在 延迟 后将浏览器重定向到领导者，以便您可以看到正在运行的作业.由于各种原因(UI 速度、避免端口被防火墙阻止)，我真的很想以编程方式发现带有领导者的主机.我不知道如何做到这一点. 我搜索了
..
Mesos 的“主"和“从"节点可以部署在同一台机器上吗?
Apache Mesos 的“主"节点可以与 Mesos 的“从"节点位于同一台机器上吗?同样(对于高可用性(HA)部署)，Mesos 'master' 选举中使用的 Apache Zookeeper 节点是否可以与 Mesos 'slave' 节点部署在同一台机器上? Mesos 建议使用 3 个“masters"进行 HA 部署，Zookeeper 建议使用 5 个节点用于其仲裁选举系统
..
设置 docker/fig Mesos 环境
我正在尝试建立一个 docker/fig Mesos 集群.我是 fig 和 Docker 的新手.Docker 有很多文档，但我发现自己很难理解如何使用 fig. 这是我目前的 fig.yaml: 动物园管理员:图片:jplock/动物园管理员端口:- “49181:2181"mesosMaster:图像:中间层/中间层:0.19.1端口:- “15050:5050"链接:- 动物园管理
..
Mesos 上的独立 Spark 集群访问不同 Hadoop 集群中的 HDFS 数据
我们有一个包含 275 个节点的 Hadoop 集群(55Tb 总内存，12000 个 VCore).这个集群与几个项目共享，我们有一个 YARN 队列分配给我们，但资源有限. 为了增强性能，我们正在考虑为我们的项目构建一个单独的 Spark 集群(在同一网络中的 Mesos 上)并访问 Hadoop 集群上的 HDFS 数据. 如 Spark 文档中所述:https://spark.
..
Mesos 上的独立 Spark 集群访问不同 Hadoop 集群中的 HDFS 数据
我们有一个包含 275 个节点的 Hadoop 集群(55Tb 总内存，12000 个 VCore).这个集群与几个项目共享，我们有一个 YARN 队列分配给我们，但资源有限. 为了增强性能，我们正在考虑为我们的项目构建一个单独的 Spark 集群(在同一网络中的 Mesos 上)并访问 Hadoop 集群上的 HDFS 数据. 如 Spark 文档中所述:https://spark.
..
Mesos 上的 Apache Spark:初始作业尚未接受任何资源
我正在使用 Apache Mesos 在集群模式下运行 Apache Spark.但是，当我启动 Spark-Shell 运行一个简单的测试命令 (sc.parallelize(0 to 10, 8).count) 时，我收到以下警告消息: 16/03/10 11:50:55 WARN TaskSchedulerImpl:初始作业没有接受任何资源；检查您的集群 UI 以确保工作人员已注册并拥
..
我应该为 Spark 选择哪种集群类型?
我是 Apache Spark 的新手，我刚刚了解到 Spark 支持三种类型的集群: 独立 - 意味着 Spark 将管理自己的集群 YARN - 使用 Hadoop 的 YARN 资源管理器 Mesos - Apache 的专用资源管理器项目 我想我应该先尝试独立.以后需要搭建一个大集群(上百个实例). 我应该选择哪种集群类型? 解决方案 我认为最好的回答是那些在
..
Mesos DCOS 不安装 Kafka
我正在尝试在 Mesos 上安装 Kafka.安装好像成功了. vagrant@DevNode:/dcos$ dcos 包安装kafka这将安装 Apache Kafka DCOS 服务.继续安装?[是/否] 是为软件包 [kafka] 版本 [0.9.4.0] 安装 Marathon 应用程序为包 [kafka] 版本 [0.9.4.0] 安装 CLI 子命令新命令可用:dcos kafkaA
..
来自 Kafka 的 Spark Streaming 有错误 numRecords 不能为负
这是一种奇怪的错误，因为我仍然将数据推送到 kafka 并使用来自 kafka 的消息和 线程“main"中的异常；java.lang.IllegalArgumentException:要求失败:numRecords 不能为负也有点奇怪.我搜索并没有得到任何相关的资源. 让我解释一下我的集群.我有 1 个服务器是主服务器，代理运行 mesos，我在上面设置了 3 个 kafka 代理.然后我
..
如何为自定义python项目编写Dockerfile?
我是Docker的新手，我需要创建一个容器以将Docker容器作为Apache Mesos任务运行. 问题是我找不到任何相关示例.它们全都围绕Web开发，这不是我的情况. 我有一个具有大量依赖项的纯Python项目(例如Berkeley Caffe或OpenCV).如何编写Docker文件以正确注册所有依赖项(以及如何找出它们)? 解决方案 docker hub注册表包含许多官
..
马拉松(Mesos)-卡在“加载应用程序"中
我正在从头开始构建mesos集群(使用Vagrant，与该问题无关).操作系统:Ubuntu 16.04(trusted)设置: Master->运行ZooKeeper，Mesos-master，Marathon和Chronos 从站->运行Mesos从站 这是我为主节点 [2020-03-08 10:33:21,819]信息通过显式任务协调提示Mesos心跳(mesospher
..
Mesos上的独立Spark集群访问其他Hadoop集群中的HDFS数据
我们有一个Hadoop群集，其中的数据节点有275个节点(总内存55Tb，12000个VCore).该集群与几个项目共享，并且我们在资源有限的情况下为我们分配了YARN队列. 为了提高性能，我们正在考虑为我们的项目构建一个单独的Spark集群(在同一网络中的Mesos上)，并在Hadoop集群上访问HDFS数据. 如Spark文档中所述: https://spark.apache.or
..
间歇性随机播放时，由于找不到文件而导致Spark Job崩溃
我有几个Spark作业，包括批处理作业和Stream作业，用于处理系统日志并进行分析.我们正在使用Kafka作为连接每个作业的管道. 一旦升级到Spark 2.1.0 + Spark Kafka Streaming 010，我发现某些作业(无论是批处理还是流式传输)都随机抛出异常(在运行数小时后或仅在20分钟内运行).谁能给我一些关于如何找出真正根本原因的建议?(看起来有很多帖子正在讨论这个
..
在DC/OS上启用GPU资源(CUDA)
我有一个带有gpu节点(nvidia)的集群，并部署了DC/OS 1.8.我想启用使用gpu隔离在gpu节点上调度作业(批处理和火花)的功能. DC/OS基于支持gpu隔离的mesos 1.0.1. 解决方案 不幸的是，DC/OS并未正式支持1.8中的GPU(实验性支持将在下一个版本中发布，因为在这里提到: https://github.com/dcos/dcos/pull/766 )
..