distributed相关内容

使用CPU工作器进行数据争论，并使用带DASK的GPU工作器培训xgBoost

我正在尝试从HDFS读取200个镶木地板文件，然后尝试使用4个GPU训练一个模型。我的机器上也有48个vcore可用。如果我只使用GPU工作器启动集群，那么读取部分将非常慢(因为它只使用分配给GPU工作器的4个CPU工作器，除非您在单独的外壳上运行它们，否则您不可能真正运行比您拥有的GPU数量更多的工作器，然后情况变得很糟糕，因为内存管理问题是您自己的。)我想使用CPU工作器读取文件，与CPU工作 ..
发布时间：2022-08-13 10:39:59 其他开发

如何在JMeter中通过同步请求跨不同节点发送时间

我需要使用JMeter进行压力测试，要求同时发送包含1000个线程的http请求(ramp-up=0)。如果我使用单节点，这可以通过同步计时器来实现。但是如何在多个JMeter从属中实现这一点呢？ 例如，假设我有2个从进程：A和B，A有500个线程，B有500个线程。在Slave A中可以控制500个请求同时发送，Slave B也会发生同样的情况，但是有没有办法让所有1000个请求同时发送呢？ ..
发布时间：2022-02-22 18:15:31 其他开发

仅使用 C 的分布式系统设计

我的工作是实现一个分布式节点系统(如 p2p 节点)，每个节点(比如说 A、B、C 和 D)执行某些功能，并且需要相互交互以进行各种操作，例如同步操作和其他事情，例如 15 个 A 节点与一组 5 个 B 节点交互，以进入负载最少的节点的队列并获取令牌编号，然后等待 C 将它们重定向到空闲节点 D 等等. 我对如何进行设计有点迷茫: 我想到的协议是封装一个struct 的操作类型和其他 ..
发布时间：2022-01-19 16:21:43 其他开发

分布式计算框架 (.NET) - 专门用于 CPU 密集型操作

我目前正在研究可用于开发分布式应用程序的选项(开源和商业). “分布式系统由通过计算机网络进行通信的多台自治计算机组成."维基百科 该应用程序专注于分发高度 cpu 密集型 操作(相对于数据密集型)，因此我确信 MapReduce 解决方案不符合要求. 您可以推荐任何框架(+ 简要总结任何经验或与其他框架进行比较)，我们将不胜感激. 解决方案 MPAPI 框架 -http ..
发布时间：2022-01-16 20:04:26 C#/.NET

在 Mapreduce/Hadoop 中加入两个数据集

有人知道如何在 Hadoop 中实现两个数据集之间的 Natural-Join 操作吗? 更具体地说，这就是我真正需要做的: 我有两组数据: 点信息存储为 (tile_number, point_id:point_info) ，这是一个 1:n 的键值对.这意味着对于每个 tile_number，可能有几个 point_id:point_info 存储为 (tile_num ..
发布时间：2022-01-14 08:05:59 其他开发

不知道宽度和数量时如何使用 CSS 均匀分布菜单项?

我已经阅读了很多关于使用 css 均匀分布元素的内容，但我发现的每个解决方案都要求您了解并定义要分布的元素的宽度和/或数量. 我有一个固定宽度的容器 - 这里可以是任意数量的自动宽度的 li 元素，这些元素需要从左到右均匀分布在父元素中. 这是我的标记 - 除了可以有任意数量的标签，其中包含任意长度的文本. 所以当元素的数量和宽度是动态的时，使用 css 进行均匀分布 - 可以 ..
发布时间：2022-01-09 20:38:23 前端开发

当宽度和数量未知时，如何使用 CSS 均匀分布菜单项?

我已经阅读了很多关于使用 css 均匀分布元素的文章，但我找到的每个解决方案都要求您了解并定义要分布的元素的宽度和/或数量. 我有一个固定宽度的容器 - 这里可以包含任意数量的自动宽度的 li 元素，这些元素需要从左到右均匀分布在父元素上. 这是我的标记 - 除了可以有任意数量的标签和任意长度的文本. ..
发布时间：2022-01-06 14:43:14 前端开发

JMeter - 在 Linux 上启动 jmeter-server 时出现环回地址错误

我正在尝试使用 JMeter 设置分布式负载测试环境.我需要使用诸如 Linux Live CD 之类的便携式设备来设置远程客户端，但是每当我尝试在 Linux 中启动 jmeter-server 时，我都会收到以下错误... 创建的远程对象:UnicastServerRef [liveRef: [endpoint:[127.0.0.1:49018](local),objID:[3b0d3d42 ..
发布时间：2022-01-04 12:31:30 服务器开发

使用 Java 代码进行 Jmeter 分布式测试

我可以使用 Java 代码运行 Jmeter，但如果我想执行与分布式测试相同的操作，那么我如何在 Java 代码中添加远程引擎. 解决方案 这里有一个 sample 代码从 Java 代码启动远程引擎.有关使用 JMeter 进行远程测试的文档还有一个 示例 编写本地测试. ..
发布时间：2022-01-04 12:29:55 Java开发

分布式 Tensorflow 中的异步训练如何工作?

我已经阅读了分布式 Tensorflow 文档，它提到在异步训练中，> 图的每个副本都有一个独立的训练循环，无需协调即可执行. 据我所知，如果我们使用具有数据并行架构的参数服务器，这意味着每个工作人员都会计算梯度并更新自己的权重，而无需关心其他工作人员对分布式训练神经网络的更新.由于所有权重都在参数服务器 (ps) 上共享，我认为 ps 仍然必须以某种方式协调(或聚合)所有工作人员的权重更 ..
发布时间：2021-12-31 16:38:34 Python

MPI 比 MapReduce 更适合哪些场景?

据我所知，MPI 使我能够更好地控制集群中不同节点的通信方式. 在 MapReduce/Hadoop 中，每个节点进行一些计算，与其他节点交换数据，然后整理其结果的分区.看起来很简单，但由于您可以迭代该过程，因此即使是 K-means 或 PageRank 等算法也能很好地拟合模型.在具有调度局部性的分布式文件系统上，性能显然是不错的.相比之下，MPI 让我可以明确控制节点如何相互发送消息. ..
发布时间：2021-12-30 21:44:03 其他开发

tensorflow中模型并行的实现

我是 tensorflow 的初学者.我目前正在开发一个具有 2 个 GPU，每个 12GB 的系统.我想在两个 GPU 之间实现模型并行以训练大型模型.我一直在浏览互联网、SO、tensorflow 文档等，我能够找到模型并行性及其结果的解释，但没有找到关于如何使用 tensorflow 实现它的小教程或小代码片段.我的意思是我们必须在每一层之后交换激活，对吗?那么我们该怎么做呢?是否有在张量流 ..
发布时间：2021-12-30 21:29:58 其他开发

对于将在 Drupal 项目上工作的小型分布式团队来说，最佳实践是什么?

经过一些研究，我们选择在下一个项目中与 Drupal 合作，我们是一个分布式团队. 既然 Drupal 将(基于我们目前所见)它的所有内容存储在数据库中，作为一个分布式团队，我们如何在这个项目上协同工作?我们应该采取哪些最佳实践? 我们考虑过使用共享数据库服务器来执行此任务，但这只会破坏我们运行该项目所需的性能.对此有什么建议吗? 解决方案 Jeremy 的回答 (+1) 已经 ..
发布时间：2021-12-29 23:09:39 其他开发

PHP 分布式系统剖析

我遇到了一个问题，让我很难找到理想的解决方案，为了更好地解释它，我将在这里公开我的场景. 我有一个接收订单的服务器来自几个客户.每个客户都会提交一组重复性任务应该在某个指定的时间执行间隔，例如:客户端 A 提交任务AA 应该每次执行2009-12-31 和 2009-12-31 之间的分钟2010-12-31;所以如果我的数学是对的大约有 525 600 次操作一年，给予更多的客户和任务让服 ..
发布时间：2021-12-26 21:20:12 PHP

可以持久化到磁盘的 memcached 的替代方案

我目前正在将 memcached 与我的 Java 应用程序一起使用，总体而言它运行良好. 对我来说最重要的 memcached 功能是: 速度很快，因为读取和写入都在内存中并且不接触磁盘它只是一个键/值存储(因为这是我的应用程序的全部需求)它是分布式的它通过让每个对象仅存在于一台服务器上来有效地使用内存它不假设对象来自数据库(因为我的对象不是数据库对象) 但是，有一件我想做而 me ..
发布时间：2021-12-20 11:13:26 Java开发

从多个服务器聚合多个日志文件的最佳方法

我需要一种简单的方法来监控分布在多个 HP-UX 服务器上的多个文本日志文件.它们是来自多个分布式遗留系统的文本和 XML 日志文件的混合.目前我们只是通过 ssh 连接到服务器并使用 tail -f 和 grep，但是当您有很多日志要跟踪时，这不会扩展. 由于日志的格式不同，而且只是文件夹中的文件(当它们达到一定大小时会自动旋转)，我需要远程收集它们并以不同的方式解析每个. 我最初的 ..
发布时间：2021-12-19 10:41:01 其他开发

Web Services vs EJB vs RMI，优缺点?

如果所有工作都在那里完成，我的 Web 服务器将很快过载.我要在它后面建立第二台服务器来处理数据. EJB 与 RMI 相比有什么优势，反之亦然? 网络服务(SOAP、REST)怎么样? 解决方案 EJB 构建在 RMI 之上.两者都意味着 Java 客户端和 bean.如果您的客户端需要使用其他内容(例如 .NET、PHP 等)编写，请使用网络服务或其他使用平台无关的有线协议 ..
发布时间：2021-12-11 18:30:49 Java开发

提供的锁无效.锁已过期，或消息已从队列中删除

我正在使用 Microsoft azure 服务总线队列来处理计算，并且我的程序可以正常运行几个小时，但随后我开始为我处理的每条消息收到此异常.我不知道从哪里开始，因为前几个小时一切正常.我的代码似乎也很准确.我会贴出我处理azure服务总线消息的方法. public static async Task processCalculations(BrokeredMessage 消息){尝试{如果( ..
发布时间：2021-12-06 18:02:18 C#/.NET