cluster-computing相关内容

集群不起作用&&;#39;

我配置了两个Tomcat的集群,在前面使用了Apache并将mod_jk用作连接器。我尝试了一个测试应用程序来检查配置,它运行良好。正在成功复制会话,并成功检测到故障转移。但当我在我的实际应用程序中尝试这一点时,它不起作用。我在HTTPD.conf中进行了相应的非常仔细的修改。日志中没有例外,也没有错误。我无法跟踪这个问题。最初,我为特定的类获取NotSerializableException,并 ..
发布时间:2022-08-08 19:40:54 服务器开发

您应该为每个Tomcat集群运行一个或多个应用程序吗?

目前我正在设置一个应用程序,它可以将其他Web应用程序部署到Tomcat6集群。它现在被设置为在部署的Web应用程序和集群之间具有一对一的关系。我目前的理由是,我可以在不中断其他应用程序的情况下更改Tomcat服务器的JVM参数,并且单个应用程序的内存使用不会与其他应用程序冲突。 问题是,就Tomcat实例集群而言,什么被认为是最佳实践?您是应该让每个集群只运行一个应用程序,还是应该像在单个To ..
发布时间:2022-07-03 20:20:50 服务器开发

在Conda中使用共享系统库

我在一个共享计算集群上使用Conda,其中已经针对系统调优了数值和io库。 我如何才能告诉Conda使用这些,而只担心在上还没有的库和包? 例如: 安装了openmpi库,我要安装和管理的Conda包也作为依赖项。 我如何才能告诉Conda只需担心不在的内容? 推荐答案 一个技巧是使用外壳程序包-一个空程序包,其唯一目的是满足求解器的约束。这是Conda Forge使用mpic ..
发布时间:2022-07-03 20:11:26 其他开发

MPI OpenMp混合

我正在尝试在Linux双核集群上运行一个为MPI和OpenMP编写的程序。 当我尝试设置OMP_NUM_THREADS变量时 export OMP_NUM_THREADS=2 我收到一条消息 OMP_NUM_THREADS:未定义变量。 我在使用OpenMP时没有获得更好的性能...我也试过了: mpiexec -n 10 -genv OMP_NUM_THREAD ..
发布时间:2022-03-30 22:03:45 其他开发

Slurm工作节点无法连接到主节点

我正在尝试设置一个简单的Slurm集群。设置如下:两个虚拟机,一个将是主(同时也是一个辅助),我们称其为主(ubu18gpu-210),另一个将是另一个辅助(ubu18gpu-211)。 两台计算机的名称都是hostname -s命令的确切输出。 所有要求和Slurm的安装都已在两台计算机上完成。我甚至可以在主节点上运行作业。然而,我面临的问题是,工人无法连接到主机。 我在主节点上运行 ..
发布时间:2022-03-30 22:01:28 其他开发

初始化脚本在Databricks笔记本中运行良好,但在连接到群集时失败

我希望将init脚本(它具有所有库依赖项)与Databricks中的交互式集群相关联。初始化脚本看起来像下面的附件,在Databricks笔记本中运行得很好。 我希望这个外壳脚本在集群启动时运行,但当我将其配置为集群的init脚本时,它返回一个错误。下面是我将init脚本附加到我的集群的方式, 错误如下所示, 我发现url正在讨论相同的问题,但这里提供的解决方案(将文件扩展名从.sh更改为. ..
发布时间:2022-03-30 21:58:28 Python

有没有办法从运行在Google Cloud Platform DataProc集群上的Jupyter笔记本中导入和运行保存的.py文件中的函数?

在本机运行Jupyter Notebook时,从保存的.py脚本导入函数和实用程序非常简单。 当我在运行在Google Cloud Platform DataProc集群上的Jupyter笔记本上工作时--(在将.py脚本上传到我的DataProc Jupyter笔记本之后--因此它在云中*)--我无法将该函数导入到(Dataproc)笔记本中。 有人知道我如何做到这一点吗?这仅仅与找 ..

在工作完成后终止DASK工人

我正在尝试使用集群上的Dask.我有兴趣在所有工作完成后立即终止所有工作。 我试着用退休工人的方法来做到这一点,但这似乎并没有杀死工人。 这里有一个例子。 import time import os from dask.distributed import Client def long_func(x): time.sleep(2) return 1 if __name_ ..
发布时间:2022-03-30 21:55:26 Python

中断石英群集中的作业

我有一个具有多个实例的Quartz设置,并且我希望在作业执行的任何位置中断该作业。正如文档中所说,Scheduler.interrupt()方法不支持集群,因此我正在寻找一些常见的实践来克服这种限制。 推荐答案 好的,这里有一些您应该用来实现此目的的基本知识。 在集群模式下运行时,有关当前运行的作业的信息显示在石英表中。例如,q_fired_triggers包含正在执行的作业。 ..
发布时间:2022-03-30 21:52:33 Java开发

在我的集群的一个节点上启动Jupyter笔记本电脑(高性能计算或HPC工具)

我想在我们的群集节点上运行jupyter笔记本,而不是在登录节点。我可以在登录节点上远程运行jupyter笔记本,但这会不必要地减慢集群的使用速度。请指导我如何从本地桌面启动节点上的jupyter笔记本。我们的集群使用PBS作业提交方式,例如使用qsub、qstat、qdel等命令来管理我们在集群上的作业。 推荐答案 您可以通过在作业脚本中运行jupyter笔记本来完成此操作。可以将j ..
发布时间:2022-03-30 21:50:19 其他开发

Node.js集群并未显著提高性能

如果有人想尝试: https://github.com/codependent/cluster-performance 我正在用一个简单的应用程序测试Node.js(v0.11.13-Windows 7)每秒请求数限制。我已经用Express4实现了一个服务,它模拟I/O操作,比如带有setTimeout回调的DB查询。 首先,我只用一个节点进程测试它。对于第二个测试,我启动与机器拥有的C ..
发布时间:2022-03-30 21:40:30 前端开发

在一台计算机上运行Hadoop群集

我是Hadoop环境的新手。 我想知道是否可以使用虚拟机在单个计算机上运行群集(包含2个或3个节点)。 欢迎任何澄清。 谢谢您。 推荐答案 来自Virtual Hadoop Wiki: 需要分别检查云和虚拟化,但在所有情况下,答案都是“是的,您可以虚拟化,是的,您可以部署到云,但您需要了解后果并制定相应的计划”。 此维基页面是您开始考虑如何在虚拟机上设置Hado ..

docker engine swarm mode需要服务发现

我对 docker swarm 感到困惑.据我所知,运行 swarm 的旧方法是在 docker 引擎提供对 swarm 模式的本机支持之前,在容器中运行 manager 和 workers.旧的容器化 swarm 的文档解释了如何使用 consul、etcd 或 zookeeper 设置服务发现.服务发现是必要的,因为服务在随机端口运行以避免冲突,对吧? docker engine swa ..
发布时间:2022-01-24 21:23:53 其他开发

Python“文件存在"制作目录时出错

我有几个线程在集群系统上从 Python 并行运行.每个 python 线程都输出到一个目录 mydir.每个脚本,在输出之前检查 mydir 是否存在,如果不存在则创建它: 如果不是 os.path.isdir(mydir):os.makedirs(mydir) 但这会产生错误: os.makedirs(self.log_dir)文件“/usr/lib/python2.6/os.py",第 ..
发布时间:2022-01-21 11:37:34 Python

PHP/PDO MariaDB Galera 集群

我正处于配置可从四个全球位置访问的服务的最后阶段(计划稍后添加更多位置).我将在带有 MariaDB 的 Ubuntu 12.04 机器上运行服务器.我最初的想法是使用 4 个不同的数据库创建彼此独立运行的服务器,并遵守用户只能登录到他们最初注册的服务器的约束. 但是,我刚刚遇到 这篇文章让我思考... . 根据我的阅读情况,如果我按照文章中的建议设置具有主-主复制的 Galera 集 ..
发布时间:2022-01-15 20:21:55 PHP