cluster-computing相关内容

在单个 ubuntu 服务器上设置 cassandra 多节点集群

我现在有一个 Cassandra 服务在我的 Ubuntu 服务器上运行,只有一个节点.我想把它做成一个有 3 个节点的环形集群,以感受多节点集群都在同一台服务器上.按照此链接中的步骤https://www.youtube.com/watch?v=oHMJrhMtv3c,我尝试在不停止已经运行的 cassandra 服务的情况下创建一个新集群.但是它抛出了地址 引起:java.net.BindEx ..
发布时间:2021-12-12 12:29:59 其他开发

R 聚类分析和具有相关矩阵的树状图

我必须对大量数据进行聚类分析.由于我有很多缺失值,我制作了一个相关矩阵. corloads = cor(df1[,2:185], use = "pairwise.complete.obs") 现在我遇到了如何继续的问题.我读了很多文章和例子,但没有什么对我有用.我如何才能知道有多少集群适合我? 我已经试过了: dissimilarity = 1 - corloads距离 = as.di ..
发布时间:2021-11-27 12:02:08 其他开发

Kubernetes 集群不会将外部 ip 公开为 <nodes>

这是我的 service.yaml 代码: 种类:服务api版本:v1元数据:名称:登录规格:选择器:应用程序:登录端口:- 协议:TCP名称:http端口:5555目标端口:登录-http类型:节点端口 我将服务类型写为 类型:NodePort 但是当我按下下面的命令时,它不会将外部 IP 显示为“节点": 'kubectl get svc' 这里是输出: NAME TYPE CL ..
发布时间:2021-11-27 09:49:55 其他开发

AWS ECS 任务内存硬限制和软限制

我对 ECS 任务定义同时具有硬内存和软内存限制的目的感到困惑. IIRC 软限制是调度程序在实例上为任务运行保留多少内存,硬限制是容器在被谋杀之前可以使用多少内存. 我的问题是,如果 ECS 调度程序根据软限制将任务分配给实例,您可能会遇到使用高于软限制但低于硬限制的内存的任务可能会导致实例超过其最大值内存(假设所有其他任务使用的内存略低于或等于其软限制). 这是正确的吗? ..

MySQL 的扩展解决方案(复制、集群)

在启动时,我们正在考虑为我们的数据库扩展解决方案.MySQL 的事情变得有些混乱(至少对我而言),它有 MySQL 集群、复制和MySQL 集群复制(从 5.1.6 版开始),这是 MySQL 集群的异步版本.MySQL 手册解释了其 集群常见问题,但很难从中确定何时使用其中之一. 如果您熟悉这些解决方案之间的差异、优缺点,以及您建议何时使用每种解决方案,我将不胜感激. 解决方案 我 ..

在 Python 上的 WordCloud 我想合并两种语言

在 Python 上的 WordCloud 中,我想将两种语言合并到一张图片中(英语、阿拉伯语),但是我无法添加阿拉伯语,因为您看到的是正方形而不是单词,并且当我调用 Arab_reshaper 库并制作它读取 csv 文件它向我显示阿拉伯语并将英语作为正方形 wordcloud = WordCloud(搭配 = 错误,宽度=1600,高度=800,background_color='白色', ..
发布时间:2021-11-17 01:25:39 Python

点差 vs MPI vs zeromq?

在 像 UDP 一样使用TCP 的可靠性,一位用户提到了 Spread 消息传递 API.我还遇到过一个名为 ØMQ 的问题.我也对 MPI 有所了解. 所以,我的主要问题是:为什么我会选择一个而不是另一个?更具体地说,既然有成熟的 MPI 实现,我为什么要选择使用 Spread 或 ØMQ? 解决方案 MPI 被设计为具有快速、可靠网络的紧耦合计算集群.Spread 和 ØMQ 是 ..
发布时间:2021-11-15 01:00:11 其他开发

Zookeeper - 从独立升级到法定人数

目前我在测试系统中使用了一个独立的 ZK 实例.但是这个测试系统已经变成了生产系统,我想在不影响 ZK 监管的 SolrCloud 系统的可用性的情况下从 1 个 ZK 实例升级到 3 个. 从我读过的内容来看,使用滚动重启从 3 升级到 5 等等非常容易,但没有找到任何关于从独立(1 个实例)升级到 3 的信息. 有没有人对此有任何见解(任何可能尝试过的人)?谢谢! 解决方案 ..
发布时间:2021-11-15 00:07:17 服务器开发

高级主选举算法与欺凌算法相比有什么好处?

我阅读了当前的主选举算法(如 Raft、Paxos 或 Zab)如何在集群上选举主,但不明白为什么他们使用复杂的算法而不是简单的欺凌算法. 我正在开发一个集群库并使用 UDP 多播来处理心跳消息.每个节点加入一个多播地址,并定期向该地址发送数据报包.如果节点发现有一个新节点向该多播地址发送数据包,则该节点会被简单地添加到集群中,类似地,当集群中的节点没有从某个节点获取任何包时,它们会将其从集 ..

连接到 Apache Kafka 多节点集群中的 Zookeeper

我按照以下说明设置了多节点 kafka 集群.现在,如何连接到zookeeper?可以在 JAVA 中从生产者/消费者端连接到一个动物园管理员还是有办法连接所有动物园管理员节点? 设置多节点Apache ZooKeeper集群 在集群的每个节点上,将以下几行添加到文件 kafka/config/zookeeper.properties server.1=zNode01:2888:3 ..
发布时间:2021-11-15 00:01:44 Java开发

启动 Zookeeper 集群.错误:无法找到或加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain

(我在 CentOS 5.8 上运行).我一直在遵循 集群(多服务器)Zookeeper 设置的方向,但在我尝试启动服务器时出现错误.当我按照文档中的描述运行命令时: java -cp zookeeper-3.4.6.jar:lib/log4j-1.2.16.jar:conf \ org.apache.zookeeper.server.quorum.QuorumPeerMain conf/zoo ..
发布时间:2021-11-14 23:59:09 服务器开发

ZooKeeper 替代品?(集群协调服务)

ZooKeeper 是一种用于数据中心的高度可用的协调服务.它起源于 Hadoop 项目.可以在其上实现锁定、故障转移、领导者选举、组成员身份和其他协调问题.ZooKeeper 有其他替代方案吗?(当然是免费软件) 解决方案 我广泛地研究了 Zookeeper/Curator, Eureka、etcd 和 consul.如果您在 Java 世界中,Zookeeper/Curator 和 E ..

Spark spark-submit --jars 参数需要逗号列表,如何声明 jars 目录?

在 在 Spark 文档中提交应用程序,截至1.6.0 及更早版本,不清楚如何指定 --jars 参数,因为它显然不是冒号分隔的类路径,也不是目录扩展. 文档说“包含您的应用程序和所有依赖项的捆绑 jar 的路径.URL 必须在集群内部全局可见,例如,hdfs://路径或存在于所有节点." 问题:提交类路径的所有选项是什么?--jars 在 $SPARK_HOME/bin 中的 spa ..
发布时间:2021-11-12 05:32:57 Java开发

连接到 Apache Kafka 多节点集群中的 Zookeeper

我按照以下说明设置了多节点 kafka 集群.现在,如何连接到zookeeper?可以在 JAVA 中从生产者/消费者端连接到一个动物园管理员还是有办法连接所有动物园管理员节点? 设置多节点Apache ZooKeeper集群 在集群的每个节点上,将以下几行添加到文件 kafka/config/zookeeper.properties server.1=zNode01:2888:3 ..
发布时间:2021-11-12 02:22:48 Java开发

Flink- 在远程集群上运行 WordCount 示例时出错

我在 VirtualBox 上有一个 Flink 集群,包括三个节点,1 个主节点和 2 个从节点.我自定义了 WordCount 示例并创建了一个胖 jar 文件以使用 VirtualBox Flink 远程集群运行它,但我遇到了错误. 注意:我手动将依赖项导入到项目中(使用 Intellij IDEA)并且我没有使用 maven 作为依赖项提供者.我在本地机器上测试了我的代码,没问题! ..
发布时间:2021-11-12 01:10:11 其他开发

Apache Camel 中的集群:多个 JVM 相同的 CamelContext

我有一个应用程序部署在集群上.根据环境,集群可能有 2 或 4 个 JVM.该应用程序具有我们在所有 JVM 上部署的相同 CamelContext.因此,所有 JVM 都有相同的路由.对于 FTP 路由,这很好,因为它具有竞争力,并且只有 1 个 JVM 获取文件.但是,在使用基于计时器的操作从数据库中获取数据时,我发现所有 JVM 都读取相同的记录集并执行相同的工作.我想要的是,如果一条路线捡 ..
发布时间:2021-11-11 22:55:48 其他开发