Redis 集群/负载均衡
Redis 不支持 master 复制. 在redis教程中可以看到有一个配置，有6个节点，3个master，3个slave， 谁能告诉我这个配置的目的是什么(slave是为了fail-over，3master的目的是什么?) 我的要求是减少从应用服务器到 Redis 的连接数.所以我一直在寻找一种可以指向多个 redis 节点的方法，所以如果我从 redis 节点 1 创建一个
..
cluster-computing相关内容
Node.js 多服务器集群:如何在多个节点集群中共享对象
我想为一个聊天室应用程序创建一个 node.js 服务器集群以支持高并发.我需要能够在所有节点之间共享信息.我试图找出保持所有服务器同步的最佳方式.我希望共享对象具有尽可能大的灵活性，因为我计划在未来添加更多功能. 到目前为止，我想到了 2 个解决方案: 订阅 NoSQL 密钥(例如 redis 发布订阅)节点使用套接字相互更新. 哪个更好?还有其他想法吗? 解决方案 R
..
如何将 Node.js 集群与我的简单 Express 应用程序一起使用?
——我构建了一个简单的应用程序，它从 Redis 数据库中提取数据(50 项)并将其发送到本地主机.我做了一个 ApacheBench(c = 100，n = 50000)，我在双核 T2080 @ 1.73GHz(我的 6 岁笔记本电脑)上获得了 150 个不错的请求/秒，但是 proc 的使用非常令人失望，因为显示: 只使用了一个核心，这与 Node 中的设计一致，但我认为我的请求/秒几
..
集群故障转移
我知道我在问一些关于集群故障转移的非常明显的问题. 我在 redis.io 上读到，如果任何主集群节点发生故障，它将影响其他主节点，直到从节点开始负责.在我的结构中，我没有定义任何奴隶，只是与 3 个主人一起工作. 我正在考虑修改 redis-trib.rb 文件，这将删除有缺陷的服务器，并将启动与其他 2 个节点的集群.我对一些事情感到困惑， 1) 重新分片 在失败的服务
..
从容器内获取容器的名称
我想从容器中获取 docker 容器名称.我需要此信息，因为我从 Dockerfile 运行脚本作为 ENTRYPOINT 需要知道节点号.我正在使用 --scale 和 docker-compose 来创建我的图像集群.我能够获取容器的 hostname，即容器 ID.但是有没有办法从容器内部获取容器名称? 解决方案 Docker remoteapis 应该适合你. 根据您的 do
..
如何使用 Torque/MOAB 调度程序设置 doSNOW 和 SOCK 集群?
继续这个问题(https://stackoverflow.com/questions/17222942/allow-foreach-workers-to-register-and-distribute-sub-tasks-to-other-workers)，什么是连接doSNOW的最佳实践和 SOCK 集群到 Torque/MOAB 调度程序，以避免处理外部并行循环的某些部分代码的内部并行循环中的
..
在 HPC 上使用 scikit-learn 函数的并行选项的简单方法
在 scikit-learn 的许多函数中实现了用户友好的并行化.例如在sklearn.cross_validation.cross_val_score 您只需在 n_jobs 参数中传递所需数量的计算作业.对于带有多核处理器的 PC，它将工作得非常好.但是如果我想在高性能集群中使用这样的选项(安装 OpenMPI 包并使用 SLURM 进行资源管理)?据我所知，sklearn 使用 joblib
..
如何知道 PySpark 应用程序的部署模式?
我正在尝试解决内存不足的问题，我想知道是否需要更改 spark 中默认配置文件 (spark-defaults.conf) 中的这些设置主文件夹.或者，如果我可以在代码中设置它们. 我看到了这个问题 PySpark: java.lang.OutofMemoryError: Java heap space 它说这取决于我是否在 client 模式下运行.我在集群上运行 spark 并使用独立监
..
Grails 集群石英作业示例代码和所需的配置
我在 Grails 1.3.7 中使用石英插件.我需要对使用石英作业的服务器应用程序进行负载平衡/集群.显然这是支持的，但我发现文档中的所有谷歌搜索结果和链接都已损坏.我找到了一些原始的 Java 示例，但我认为 Grails 有一种更简单的方法来做到这一点.我所需要的只是一个用作模板的简单示例.我知道我需要以某种方式启用 Quartz 以使用 JDBC 来存储作业和管理锁定. 我认为指向单
..
如何设置自动缩放 RabbitMQ 集群 AWS
我正在尝试从 SQS 转移到 RabbitMQ 以进行消息传递服务.我希望构建一个稳定的高可用性排队服务.现在我要使用集群. 当前实施，我有三台带有 RabbitMQ 的 EC2 机器，在 AMI 中安装了管理插件，然后我明确地转到每台机器并添加 sudo rabbitmqctl join_cluster rabbit@ HA 属性设置为 all 并且同步工作.并且在它上面有一个负载均衡
..
如何为apache spark worker更改每个节点的内存
我正在配置一个 Apache Spark 集群. 当我用 1 个主站和 3 个从站运行集群时，我在主监控页面上看到了这个: 内存2.0 GB(已使用 512.0 MB)2.0 GB(已使用 512.0 MB)6.0 GB(已使用 512.0 MB) 我想增加工作人员的已用内存，但我找不到合适的配置.我已将 spark-env.sh 更改如下: export SPARK_WORKER_M
..
负载平衡集群中的 PHP 会话 - 如何?
好的，所以我有一个完全罕见的负载平衡 PHP 网站的独特场景.令人失望的是 - 它过去没有进行负载平衡.现在我们开始遇到问题了... 目前唯一的问题是 PHP 会话.一开始自然没有人想到这个问题，所以 PHP 会话配置保留为默认值.因此，两台服务器都有自己的一小部分会话文件，而将下一个请求扔给另一台服务器的用户是不幸的，因为那没有他在第一个服务器上创建的会话. 现在，我一直在阅读有关如
..
在 docker 容器上运行一个 hadoop 集群
我想运行一个多节点 hadoop 集群，每个节点都在不同主机上的 docker 容器内.此图像 - https://github.com/sequenceiq/hadoop-docker 可以很好地开始hadoop 在伪分布式模式下，修改它以使每个节点位于单独的 ec2 主机上的不同容器中的最简单方法是什么? 解决方案 我使用两个容器在两个不同的 ubuntu 主机上运行主节点和从节点.我
..
如何在yarn客户端模式下在远程主节点上提交spark作业?
我需要将 Spark 应用程序/作业提交到远程 Spark 集群.我目前在我的机器上有火花，主节点的 IP 地址作为纱线客户端.顺便说一句，我的机器不在集群中.我用这个命令提交我的工作 ./spark-submit --class SparkTest --deploy-mode 客户端/home/vm/app.jar 我将我的主人的地址硬编码到我的应用程序中 val spark_master
..
HDFS 主目录
我已经设置了一个单节点多用户 hadoop 集群.在我的集群中，有一个负责运行集群的管理员用户(超级用户).所有其他用户都分配了一个 hdfs 目录，例如/home/xyz，其中 xyz 是用户名. 在 unix 中，我们可以在/etc/passwd 中更改用户的默认主目录.默认情况下，用户的登陆目录是主目录. 我如何在 hadoop 中为 hdfs 文件系统执行此操作.例如，如果用户
..
为嵌入在 Java webapp 中的客户端设置 hadoop 系统用户
我想将 MapReduce 作业从 Java Web 应用程序提交到远程 Hadoop 集群，但无法指定应向哪个用户提交作业.我想配置和使用一个应该用于所有 MapReduce 作业的系统用户. 目前我无法指定任何用户，无论 hadoop 作业在客户端系统当前登录用户的用户名下运行什么.这会导致消息错误 权限被拒绝:user=alice, access=WRITE, inode="stag
..
Kubernetes- 错误上传 crisocket:等待条件超时
我正在尝试为具有 1 个主节点和 2 个工作节点的 Kubernetes 集群创建模板.我已经安装了所有的 pre-req 软件并在我的主节点上运行了 kubeadmn init.但是当我尝试运行作为 init 命令输出的 kubeadmn join 时，我收到一个错误. [discovery] 创建集群信息发现客户端，请求信息来自“https://10.31.2.33:6443"[发现] 请求
..
将节点添加到 Kubernetes 中的现有集群
我有一个在 2 台机器上运行的 kubernetes 集群(master-minion 节点和 minion 节点).我想在不中断当前设置的情况下添加一个新的 minion 节点，有什么办法吗? 我已经看到，当我尝试添加新节点时，其他节点上的服务会停止它，因此我必须在将新节点部署到现有集群之前停止服务. 解决方案 要在最新版本(在 1.10.0 上测试)中执行此操作，您可以在主节点上
..
如何向我的 Elasticsearch 集群添加新节点
我的集群具有黄色运行状况，因为它只有一个节点，因此副本保持未签名仅仅是因为没有其他节点可用于包含它们. 所以我想创建/添加另一个节点，以便 Elasticsearch 可以开始向它分配副本.我只有一台机器并且我将 ES 作为服务运行. 我发现了大量包含一些信息的站点，但没有一个告诉我清楚如何向 ES 添加另一个节点. 有人可以向我解释我必须编辑哪些文件以及我必须启动哪些命令才能在
..
Docker 容器集群中的 Elasticsearch
我想在 2 个不同的主机上运行 2 个 Elasticsearch 实例. 我已经基于 Ubuntu 14.04 和 1.3.2 版本的 Elasticsearch 构建了自己的 Docker 镜像.如果我在 1 台主机上运行 2 个 ES 容器，则每个实例都可以看到另一个实例并与之通信；但是当我在 2 个不同的主机上运行 2 个 ES 实例时，它不起作用.容器的9300端口绑定到主机的93
..