distributed-computing相关内容

具有缓存依赖关系的分布式缓存

是否有现成的具有编程缓存依赖项的分布式缓存系统(最好使用.NET客户端)？ 在我的研究中，我只发现具有基于时间的缓存过期的分布式缓存。 推荐答案 您可以使用GigaSpaces XAP数据网格，并在客户端上拥有一个本地缓存，该缓存保存该客户端所需的缓存项，并且具有用于在.NET中逐出该缓存的完整编程API。 请参阅： http://wiki.gigaspaces.com/wik ..
发布时间：2022-06-19 14:30:33 C#/.NET

如何使所有分布式节点的RAM对单个节点可用？

我已经在Linux上开发了一个应用程序，它将受益于一个具有更多RAM的进程，而不是将单个进程卸载到具有较少RAM的较小计算节点上。因此，这是我在这里研究的一个选项。 我希望在主节点上运行一个进程，同时以某种方式使所有计算节点上的所有可用RAM对主节点显示为一大块可用RAM(就像单个系统一样)。 据我所知，这种单一系统映像(SSI)的使用现在称为分布式共享内存(DSM)。我一直在查看单个系统映像 ..
发布时间：2022-06-19 14:24:43 其他开发

Tf.Distribute.Strategy：类型错误：无法将<；类'；tensorflow.python.distribute.values.PerReplica'；>；的对象转换为张量

根据TensorFlow网站https://github.com/tensorflow/docs/blob/r1.15/site/en/guide/distribute_strategy.ipynb上的示例判断，似乎没有关于如何使您的代码适应使用分发策略的资源。我的原始代码包括操作张量，例如tf.expand_dims(x, axis=1)。然而，当使用分发策略时，我得到了上述错误，因为expan ..
发布时间：2022-06-19 14:16:07 Python

Slurm：提交到多个节点时出错("；slurmSted：Error：execve()：Python：没有这样的文件或目录"；)

我有一个bash脚本submit.sh，用于将培训作业提交到Slurm服务器。它的工作原理如下。正在做 bash submit.sh p1 8 config_file 会向分区p1的8个GPU提交一些config_file对应的任务。p1的每个节点都有4个GPU，因此此命令请求2个节点。 submit.sh的内容可以概括如下，其中我使用sbatch提交了一个Slurm脚本(trai ..
发布时间：2022-06-19 13:58:59 其他开发

分布式计算框架 (.NET) - 专门用于 CPU 密集型操作

我目前正在研究可用于开发分布式应用程序的选项(开源和商业). “分布式系统由通过计算机网络进行通信的多台自治计算机组成."维基百科 该应用程序专注于分发高度 cpu 密集型 操作(相对于数据密集型)，因此我确信 MapReduce 解决方案不符合要求. 您可以推荐任何框架(+ 简要总结任何经验或与其他框架进行比较)，我们将不胜感激. 解决方案 MPAPI 框架 -http ..
发布时间：2022-01-16 20:04:26 C#/.NET

在 Spark 执行器节点上安装 Python 依赖项的最简单方法是什么?

我了解您可以使用 Python Spark 程序将单个文件作为依赖项发送.但是成熟的库(例如 numpy)呢? Spark 是否有办法使用提供的包管理器(例如 pip)来安装库依赖项?还是必须在执行 Spark 程序之前手动完成? 如果答案是手动，那么在大量分布式节点上同步库(安装路径、版本等)的“最佳实践"方法是什么? 解决方案 实际上已经尝试过了，我认为我作为评论发布的链接 ..
发布时间：2022-01-15 22:21:28 其他开发

是否可以限制 MapReduce 作业访问远程数据?

我们有想要与 HDFS 集成的特定算法.该算法要求我们在本地访问数据(该工作将专门在 Mapper 中完成).但是，我们确实希望在分发文件(提供可靠性和条带化)方面利用 HDFS.计算完成后，我们将使用 Reducer 简单地发回答案，而不是执行任何额外的工作.避免使用网络是一个明确的目标.是否有允许我们限制网络数据访问的配置设置，以便在启动 MapReduce 作业时它只会访问它的本地 Data ..
发布时间：2022-01-13 23:51:47 Java开发

如何在 Hadoop MapReduce 中将对象设置为 Map 输出的值?

在 Hadoop MapReduce 中，对于中间输出(由 map() 生成)，我希望中间输出的值是以下对象. 我的对象{日期:日期余额:双} 我该怎么做.我应该创建自己的可写类吗? 我是 MapReduce 的新手. 谢谢. 解决方案 您可以编写您可以作为映射器值发出的自定义类型.但是无论你想作为值发出什么，都必须实现可写接口.你可以这样做: public class ..
发布时间：2022-01-13 23:30:26 Java开发

在 Hadoop 中更改文件拆分大小

我在 HDFS 目录中有一堆小文件.虽然文件的体积相对较小，但每个文件的处理时间量很大.也就是说，一个 64mb 文件，它是 TextInputFormat 的默认分割大小，甚至需要几个小时来处理. 我需要做的是减小分割大小，这样我就可以利用更多节点来完成一项工作. 所以问题是，如何以 10kb 来分割文件?我是否需要为此实现自己的 InputFormat 和 RecordReader ..
发布时间：2022-01-13 23:12:16 Java开发

为什么 CAP 定理中的 RDBMS 分区不能容忍，为什么它可用?

关于 RDBMS 在 CAP 定理中是 CA 的两点我不明白: 1) 它说 RDBMS 不是 Partition Tolerant 但是RDBMS 比其他技术(如 MongoDB 或 Cassandra)的 Partition Tolerant 少吗?是否存在我们放弃 CA 以使其成为 AP 或 CP 的 RDBMS 设置? 2) CAP 的可用性如何?是通过主从设置吗?就像maste ..
发布时间：2022-01-13 13:29:51 其他开发

具有分布式集群的 Python 多处理

我正在寻找一个 python 包，它不仅可以在单台计算机内的不同内核上进行多处理，而且还可以在分布在多台机器上的集群中进行多处理.有很多不同的用于分布式计算的 Python 包，但大多数似乎都需要更改代码才能运行(例如，表示对象位于远程计算机上的前缀).具体来说，我想要尽可能接近多处理 pool.map 函数的东西.因此，例如，如果在一台机器上，脚本是: 来自多处理导入池池 = 池(进程 = 8 ..
发布时间：2022-01-12 12:27:03 Python

什么是 spark.driver.maxResultSize?

ref 说: 每个分区的所有分区序列化结果的总大小限制触发操作(例如收集).应至少为 1M，或 0 表示无限.如果总大小超过此限制，作业将被中止.上限可能会导致驱动程序内存不足错误(取决于关于 JVM 中对象的 spark.driver.memory 和内存开销).环境适当的限制可以保护驱动程序免受内存不足错误的影响. 这个属性到底有什么作用?我的意思是一开始(因为我不是在与因内存不足 ..
发布时间：2022-01-03 09:09:53 其他开发

如何查看Dask计算任务的进度?

当我使用 Dask 运行计算任务时，我想在 Jupyter 笔记本上看到一个进度条，我正在计算一个 +4GB 大型 csv 文件中 id 列的所有值，所以有什么想法吗? 将 dask.dataframe 导入为 dddf = dd.read_csv('数据/train.csv')df.id.count().compute() 解决方案 如果您使用的是单机调度程序，请执行以下操作: from ..
发布时间：2021-12-31 23:28:19 其他开发

C 中如何使用 MPI_Scatter 和 MPI_Gather?

到目前为止，我的应用程序正在读取一个包含整数列表的 txt 文件.这些整数需要由主进程(即等级为 0 的处理器)存储在数组中.这工作正常. 现在，当我运行程序时，我有一个 if 语句检查它是否是主进程，如果是，我正在执行 MPI_Scatter 命令. 据我所知，这将用数字细分数组并将其传递给从属进程，即所有 rank > 0 .但是，我不确定如何处理 MPI_Scatter.slav ..
发布时间：2021-12-30 21:17:43 其他开发