cluster-computing相关内容

跨集群共享 Java 同步块,还是使用全局锁?

我有一些代码只允许一个线程访问.我知道如何使用 synchronized 块或方法来完成此操作,但这是否适用于集群环境? 目标环境为 WebSphere 6.0,集群中有 2 个节点. 我感觉 synchronized 行不通,因为每个节点上的应用程序的每个实例都会有自己的 JVM,对吧? 我在这里尝试做的是在系统启动时对数据库记录进行一些更新.它将查找比代码版本更旧的任何数据库 ..
发布时间:2022-01-14 22:03:57 Java开发

Hadoop 和 Python:禁用排序

我已经意识到,当使用 Python 代码运行 Hadoop 时,映射器或化简器(不确定是哪个)在 reducer.py 打印输出之前对我的输出进行排序.目前它似乎是按字母数字排序的.我想知道是否有办法完全禁用它.我想根据 ma​​pper.py 的打印顺序输出程序.我在 Java 中找到了答案,但在 Python 中没有找到答案.我需要修改 ma​​pper.py 还是命令行参数? 解决方案 ..
发布时间:2022-01-13 23:55:22 Python

从节点不在 Yarn ResourceManager 中

我已经建立了一个 3 节点的 Apache Hadoop 集群.在主节点上,我可以看到 [hadoop-conf]$ jps16856 数据节点17051 次要名称节点16701 名称节点21601 资源管理器21742 节点管理器18335 作业历史服务器 在从节点上,我看到了 [fedora20-template dfs]$ jps28677 日元28510 节点管理器27449 数据节 ..
发布时间:2022-01-13 23:39:11 其他开发

Windows服务器上的Hadoop

我正在考虑使用 hadoop 在我现有的 windows 2003 服务器(大约 10 台四核机器和 16gb 内存)上处理大型文本文件 问题是: 有没有关于如何在windows上配置hadoop集群的好教程? 有什么要求?java + cygwin + sshd ?还有什么? HDFS,在 Windows 上玩得好吗? 我想在流模式下使用 hadoop.在 c# 中 ..
发布时间:2022-01-13 23:33:59 C#/.NET

在 R 中的传单包制作的地图中插入集群颜色的通用函数

如何执行一般功能来插入簇的颜色?我使用传单包来生成地图.我这样做的方式是“if else",它起作用了,但是如果例如,我有 15 个集群,我将有很多“if else".有谁能够帮我 ??此外,如果可能的话,我也想在我的地图上放上集群的图例.我的可执行代码如下: 库(传单)图书馆(地圈)#数据库df% addTiles() %>%addAwesomeMarkers(lat=~Latitude, l ..
发布时间:2022-01-12 18:03:11 其他开发

在 Windows 服务器上设置 RabbitMQ 集群

我正在尝试在 Windows 服务器上设置 RabbitMQ 集群,这需要使用共享的 Erlang cookie 文件.根据文档,我需要做的就是确保不同机器上的根目录包含相同的 .erlang.cookie 文件.所以我所做的是在两台机器上找到这些文件并用相同的共享版本覆盖它们. 在那之后,所有rabbitmqctl命令在新文件版本的机器上都失败了,并显示“无法连接到节点..."错误消息.我 ..
发布时间:2022-01-11 18:02:23 其他开发

如何使 RabbitMQ 可扩展?

我试过测试RabbitMQ,但是发现rabbitmq有一些问题:如果我创建了一个包含 3 个节点的集群,我无法发布/交付超过 6000/s.另一方面,如果我使用单个节点,我可以发布/交付直到 25000/s.这意味着,我添加的节点越多,性能就会越差. 但来自这篇文章:https://blog.pivotal.io/pivotal/products/rabbitmq-hits-one-mill ..

网络故障后 RabbitMQ 集群未重新连接

我有一个带有两个生产节点的 RabbitMQ 集群,集群因以下错误消息而中断: =错误报告==== 2011 年 12 月 23 日::04:21:34 ===** 节点 rabbit@rabbitmq02 没有响应 **** 删除(超时)连接 **=信息报告==== 2011 年 12 月 23 日::04:21:35 ===节点 rabbit@rabbitmq02 丢失了“兔子"=错误报告= ..
发布时间:2022-01-11 17:19:03 其他开发

JBoss 4.2.2 节点开始集群然后互相猜疑

我有一个在现有 Red Hat 服务器上运行 JBoss 4.2.2 的网站.我正在设置第二台服务器,以便拥有一个集群对(然后将进行负载平衡).但是,我无法让它们成功集群. 现有服务器使用以下命令启动 JBoss: run.sh -c 默认 -b 0.0.0.0 (我知道“默认"配置不支持开箱即用的集群 - 我正在使用它的修改版本,其中包括集群支持.)当我使用相同的命令启动第二个 JBo ..
发布时间:2022-01-07 12:56:27 其他开发

在node.js中,如何声明一个可以被master进程初始化并被worker进程访问的共享变量?

我想要以下内容 在启动期间,主进程从文件加载一个大表并将其保存到共享变量中.该表有 9 列和 1200 万行,大小为 432MB. 工作进程运行 HTTP 服务器,接受针对大表的实时查询. 这是我的代码,显然没有达到我的目标. var my_shared_var;var cluster = require('cluster');var numCPUs = require('os') ..

在同一台机器上运行多个 cassandra 节点(一个集群)?

如何从我的 Ubuntu 运行 3 个 cassandra 节点(实际上是一个集群)?我不想创建 3 个 VMWare/VirtualBox 实例,而是将每个 cassandra 节点配置为侦听不同的端口.安装一个 cassandra 可以吗? 我想到的一个解决方案是安装 3 个本地 cassandra 并独立配置每个 cassandra.yaml,但实际上我更愿意通过我安装的 cassan ..
发布时间:2021-12-31 18:12:55 其他开发

cassandra nosql 数据库中的节点、集群和数据中心有什么区别?

我正在尝试使用 datastax ops 中心为学校项目复制 cassandra nosql 数据库中的数据.从我读到的,有三个关键字:集群、节点和数据中心,据我所知,一个节点中的数据可以复制到另一个节点中,该节点存在于另一个集群中.并且所有包含相同(重复)数据的节点组成一个数据中心.是吗? 如果不是,有什么区别? 解决方案 Cassandra 中元素的层次结构是: 集群 数 ..
发布时间:2021-12-31 18:05:46 其他开发

如何在 Windows 7 64 位上创建本地多节点 Cassandra 集群?

我正在寻找一组指令来创建本地多节点 Cassandra 2.x 集群一台 Window 7 64 位电脑. 最好使用 CCM “Cassandra Cluster Manager" 并允许使用 DataStax OpsCenter 我按照“ 编辑:我一直在使用 CCM 在每个节点上部署 OpsCenter 代理,有什么想法吗? 解决方案 本教程使用的文章: CCM 2. ..

如何在 MPI_Send() 中发送结构类型的变量?

我使用 MPI 用 C 编写了一个程序,其中结构变量将以环形方式发送到进程,并根据从该变量接收到的值,分配该特定进程的工作. 问题是我需要知道如何在 MPI_Send() 函数中发送一个结构变量,因为它在运行时给出了 INVALID DATATYPE,考虑下面的例子 结构信息{int ne, n, u, v, process, min, strip, mincost, b;统计;MPI_S ..
发布时间:2021-12-30 21:42:15 其他开发

Windows 集群上的并行 R

我有一个 Windows HPC 服务器,在后端运行一些节点.我想使用后端的多个节点运行 Parallel R.我认为 Parallel R 可能在 Windows 上使用 SNOW,但不太确定.我的问题是,我是否还需要在后端节点上安装 R?假设我想使用两个节点,每个节点 32 个核心: cl 现在,它只是挂起. 我还需要做什么?后端节点是否需要运行某种 sshd 才能相互通信? ..
发布时间:2021-12-30 21:24:48 其他开发

MPI:阻塞与非阻塞

我无法理解 MPI 中阻塞通信和非阻塞通信的概念.两者之间有什么区别?有什么优点和缺点? 解决方案 阻塞通信使用 MPI_Send() 和 MPI_Recv().这些函数在通信完成之前不会返回(即它们阻塞).稍微简化一下,这意味着传递给 MPI_Send() 的缓冲区可以重用,因为 MPI 将它保存在某处,或者因为它已被目的地接收.类似地,MPI_Recv() 在接收缓冲区已填充有效数据时 ..
发布时间:2021-12-30 20:59:06 其他开发