cluster-computing相关内容
我使用Grid Engine集群来运行一些OpenCV代码。代码在本地执行时运行良好,但是当提交到网格时,它不工作。我在这里提取了一个最小示例。 在目录〜/ code / 中有一个文件 test.cpp 包含以下代码: #include #include #incl
..
超级编辑: 添加广播步骤将导致两个进程打印 ncols 由主节点(从中我可以检查输出)。但为什么?我的意思是,所有的广播变量已经有一个值在他们的声明! (偏离主题图片)。 我有一些代码基于这示例。 我检查了集群配置是否正常, a href =“http://stackoverflow.com/questions/212528/get-the-ip-address-of-the-m
..
超级编辑: 添加广播步骤将导致两个进程打印 ncols 由主节点(从中我可以检查输出)。但为什么?我的意思是,所有的广播变量已经有一个值在他们的声明! (偏离主题图片)。 我有一些代码基于这示例。 我检查了集群配置是否正常, a href =“http://stackoverflow.com/questions/212528/get-the-ip-address-of-the-m
..
我想知道你将使用什么工具,框架或库来将你的C ++应用程序传播到多个机器上。 我在寻找一种创建框架/环境的方法,服务器可以将许多分离的作业移交给不同的分离的客户端,他们将结果返回到特殊作业。结果和作业应该是“正常”C ++类的实例,所以某种序列化将是很好的。 它需要在C ++,因为我来自科学背景和我想使用的所有框架。 解决方案 MPI真的很酷!打开MPI设置的信息此处,还有一些
..
我是MPI新手,我想为 Residence struct 创建一个新的数据类型。我只想看看是否可以创建新的类型正确的方法。 struct Residence { double x; double y; }; 我的新MPI类型 MPI_Datatype createRecType() { //设置类型构造函数的参数 MPI_Datatype new_type;
..
我在考虑使用Hadoop来处理我现有的Windows 2003服务器(约10四核机有16GB的RAM) 的问题是大的文本文件 是否有关于如何在Windows配置Hadoop集群 $任何好的教程? b $ b 有什么要求? java的cygwin的+ + sshd的?还有别的吗? HDFS,它在Windows上发挥好? 我D类似于流媒体模式下使用Hadoop的。任何意见,工
..
我有问题,所有的过程来处理大师“根”收集的数据,我可以发送数据MPI_Bcast但上MPI_Gather我所有的问题在我countBuff调试我输出这是我所 输出 0 brodcast数据 1 brodcast数据 MPI_Gather数据等级0 1 从0到1.00 KM:-842150451,从1.00至2.00 KM:-842150451,从2.00到5.00
..
随着
..
我有一个的qsub脚本 ##### ---- submit_job.sh --- ##### #!/ bin / sh的 #$ -N JOB1 #$ 1-100 -t #$ -cwd SEEDFILE = /家庭/用户1 / DATA1 SEED = $(SED -n -e“$ SGE_TASK_ID P”$ SEEDFILE) /hom
..
我试图运行它采用了Lustre文件系统集群RHEL5一个非常大集的批处理作业。我得到一个奇怪的错误与工作大约1%:他们便无法发现它们都使用转向的文本文件。重现错误的脚本是这样的: #!的/ usr / bin中/ env的庆典#PBS -t 1-18792 #PBS -l纪念品= 4GB,walltime = 30:00 #PBS -l节点= 1:PPN = 1 #PBS -q HEP #PBS
..
我想运行一个脚本时,我一切所发送到服务器的工作就完成了。 例如,我送 SSH服务器“的配置对于i *;做的qsub ./run 1 $ i个;完成” 和我回去启动的作业列表。我想自动在服务器上启动另一个脚本一次处理这些作业的输出都已经完成。 我想AP preciate任何意见,这将有助于我避免以下不雅的解决方案: 如果我保存每个1000作业标识的来自一个单独的文件上面的电话,我可以检查每
..
我有一个C ++程序,而我通过两个双打作为使用命令行输入 INT主(INT ARGC,CHAR *的argv []){ 双A,B; A = ATOF(的argv [1]); B = ATOF(的argv [2]); 进一步code ..... 我在运行使用的qsub 实用集群上的code和我有一个名为bash脚本'jobsub.sh`提交看起来像这样的作业#
..
我们正在建立用来发布基于.NET Web服务的asp.net系统。 它有一个简单的逻辑:我们有许多种Web服务模板App_Data文件夹下的。 例如,我们的应用程序的网址是:的http://本地主机/的ServiceManager 这是我们的应用程序的文件夹: 的App_Data ws1.zip ws2.zip 箱子 模块 服务 web.config中 请注意:如果
..
在回答中的一个来
..
这是正常的火花不会船舶自动由主到从JAR文件(包含火花应用程序)?在早期版本(与亚马逊Web服务使用),它的工作!难道因为版本1.2.2或引起集群问题,而公共DNS地址,这个功能的改变?或者只在AWS集群工作这个“自动复制罐子”功能? 下面我提交的呼叫: ./火花提交--class prototype.Test --master火花://192.168.178.128:7077 --depl
..
我有一个关于后续问题picture.I使用 data.persist(StorageLevel.MEMORY_AND_DISK_SER) 缓存我们的原始数据,但什么是如此惊讶的是,我们在内存中缓存的速度是一样的,因为我们在磁盘缓存的速度?为什么?我觉得我们在内存中缓存应该比我们在磁盘缓存的速度更快的速度,谁可以帮我解决这个问题? 解决方案 如果我没看错,这是因为星火没有直接写入磁盘。
..
什么是标题为“局部性级别”的意义和5的状态数据 地方 - >本地程序 - >节点本地 - >本地架 - >任何 解决方案 据我所知道的地方级指示已执行对数据的访问类型。当一个节点完成其所有工作和CPU空闲时,星火可以决定开始,需要从其他地方获取数据的其他未决任务。所以,理想情况下,所有的任务应该是本地的过程,因为它是用较低的数据访问延迟有关。 您可以使用移动到其他地方的水平之前配置的等
..
在
..
我想安装星火并且standlone模式与我的两个虚拟机集群。结果 随着火花0.9.1彬hadoop1的版本,我在每个虚拟机成功执行火花外壳。我按照的官方文件使一个虚拟机(IP:XX.XX .xx.223)作为主服务器和工人,并令对方(IP:xx.xx.xx.224)作为唯一的工人结果 但224-IP虚拟机无法连接的223-IP虚拟机。 其次是223(主)的主日志: [@ TC-52-22
..
我配置一个Apache星火集群。 当我运行1主3奴隶集群,我看这方面的大师监视页: 内存 2.0 GB(512.0 MB使用) 2.0 GB(512.0 MB使用) 6.0 GB(512.0 MB使用) 我要增加对工人所使用的内存,但我无法找到这个合适的配置。我已经改变了 spark-env.sh 如下:出口SPARK_WORKER_MEMORY =6克 出口SPARK_MEM =6克 出
..