distributed相关内容

张量流中模型并行性的实现

我是tensorflow的初学者.我目前正在使用一个带有2个12GB GPU的系统.我想在两个GPU之间实现模型并行性，以训练大型模型.我一直在互联网，SO，tensorflow文档等中进行浏览，我能够找到模型并行性及其结果的解释，但在哪里找不到关于如何使用tensorflow实施的小型教程或小型代码片段.我的意思是我们必须在每一层交换交换激活信息，对不对?那么我们该怎么做呢?在张量流中是否有特定 ..
发布时间：2020-05-24 20:55:22 其他开发

Oracle分布式数据库和MSVC

我正在使用Visual Studio 2008 C#和SQL进行开发. 我应该下载哪个oracle版本? Oracle 10g? 它具有像sql server mangement studio这样的设计界面吗? 此分发概念是否将具有一个图形化工具，该工具会显示“嗨，您希望在哪个服务器上分发数据库以及在什么基础上分发"? 使用本地应用程序时，当我连接到该服务器的服务器并尝试输 ..
发布时间：2020-05-22 03:26:53 数据库

异步训练在分布式Tensorflow中如何工作?

我已阅读分布式Tensorflow文档，其中提到在异步训练中， 该图的每个副本都有一个独立的训练循环，无需协调即可执行. 据我了解，如果我们将参数服务器与数据并行性体系结构一起使用，则意味着每个工作人员都可以计算梯度并更新自己的权重，而无需关心分布式培训神经网络的其他工作人员更新.由于所有权重都在参数服务器(ps)上共享，我认为ps仍必须以某种方式协调(或汇总)所有工作人员的权重更新. ..
发布时间：2020-05-17 19:12:08 Python

什么是事件驱动编程?

什么是事件驱动编程，并且事件驱动编程与线程有什么关系?我遇到了有关服务器以及服务器如何处理用户请求和管理数据的问题.如果用户发送请求，服务器将开始处理数据并将状态写入表中.为什么?服务器会停止处理该用户的数据，而开始处理另一用户的数据，还是开始为每个用户的数据处理在不同的线程(多线程服务器)中运行? 解决方案 事件驱动的编程！=线程编程，但是它们可以(并且应该)重叠. 当系统需要“同 ..
发布时间：2020-05-13 21:30:39 其他开发

对于使用ASIO与MPI的分布式应用程序?

对此我有些困惑.如果您要构建一个分布式应用程序，在某些情况下该应用程序可能会执行并行操作(尽管不一定是数学上的)，那么您应该使用ASIO还是MPI之类的东西?我认为MPI比ASIO更高，但是尚不清楚堆栈将从何处开始. 解决方案 据我所知，当新的分布式节点希望加入已经启动的组时，MPI目前无法处理这种情况.如果其中一个节点脱机，也可能会出现问题. MPI不会显示下面的任何与网络相关的机 ..
发布时间：2020-05-12 20:03:30 其他开发

并行调试器

我正在尝试确定要使用的并行调试器. 到目前为止，我发现的开放源代码并不多，因此我的选择是: https://www.arm.com /products/development-tools/server-and-hpc/forge/ddt http://www.roguewave.com/products/totalview-family /totalview.aspx 您推荐哪个? ..
发布时间：2020-05-12 19:57:54 其他开发

MPI_BARRIER之后，MPI_SEND停止工作

我正在C/MPI中构建一个分布式Web服务器，似乎在我的代码中的第一个MPI_BARRIER之后，点对点通信完全停止了工作.标准C代码在屏障之后工作，因此我知道每个线程都可以通过屏障.点对点通信在障碍之前也可以正常工作.但是，当我将在屏障之前的行工作的相同代码复制粘贴到屏障之后的行时，它将完全停止工作. SEND将永远等待.当我尝试使用ISEND时，它将通过线路通过，但从未收到该消息.我一直在仔细 ..
发布时间：2020-05-12 19:55:56 其他开发

在分布式数据存储中生成短URL

当前，我运行的Web应用程序严重依赖链接到原始内容的短URL，这些URL必须尽可能短. 此刻，我使用一个简单的MySQL数据存储来存储这些对象，并使用递增计数器->以62为基础的转换来生成短网址，该网址会随着时间的推移而增长.我们需要转移到一个更加分布式和可扩展的环境. 为分布式数据存储中的内容生成小的，唯一的简短Urls的最佳方法是什么?具体来说，我们计划使用 Mongo 或解决方案 ..
发布时间：2020-05-11 01:50:30 其他开发

当我有线程时，是否存在非阻塞接收的用例?

我知道非阻塞接收在消息传递中使用不多，但是一些直觉告诉我，这是必需的.以GUI事件驱动的应用程序为例，您需要某种方式以非阻塞方式等待消息，以便您的程序可以执行一些计算.解决此问题的方法之一是使用带有消息队列的特殊线程.是否有一些用例，即使您有线程，您真的需要无阻塞接收吗? 解决方案 线程的工作方式与非阻塞异步操作不同，尽管您通常可以通过使线程执行同步操作来达到相同的效果.但是，最后，它归结 ..
发布时间：2020-05-09 01:34:50 其他开发

Matlab中的并行处理

我创建了两个功能:生成数据和处理数据.数据处理非常耗时，因此我想在并行线程中对其进行处理.但是我有一些问题.首先，这是我的程序: result = zeros(1, 10); matlabpool open local 2 spmd for a = 1:5 data = generate_data(); display(sprintf('Receiv ..
发布时间：2020-05-06 13:57:50 其他开发

在哪些情况下，MPI比MapReduce更适合?

据我了解，MPI使我可以更好地控制群集中不同节点之间如何通信. 在MapReduce/Hadoop中，每个节点进行一些计算，与其他节点交换数据，然后整理其结果分区.看起来很简单，但是由于您可以迭代该过程，因此即使像K-means或PageRank之类的算法也非常适合该模型.在具有调度局部性的分布式文件系统上，性能显然不错.相比之下，MPI使我可以明确控制节点之间如何相互发送消息. 谁能 ..
发布时间：2020-05-05 15:35:40 其他开发

分布式MAKE

我有一个MAKE编译过程，大约需要1个小时才能完成.我使用了-j命令，并将其减少到40分钟.我观察到的是CPU利用率很高，我的导师建议我将作业分配到本组织可用的不同服务器或计算机上.我读了有关distcc的文章，但它仅可用于C代码，并且我们混合使用了C和Java代码.请为我推荐一个合适的工具，因为我是从事此项目的唯一人，因此它是最容易安装和部署的工具. 规格-平台-solaris-sparc ..
发布时间：2020-05-05 12:11:51 其他开发

在SOLR中即时创建新的核心目录

我正在使用solr 1.4.1构建分布式搜索引擎，但是我不想只使用一个索引文件-我想在我的Java代码中即时创建新的核心“索引"目录. 我发现使用以下REST API使用 EXISTING 核心目录( http://wiki.apache.org/solr/CoreAdmin ). http://localhost:8983/solr/admin/cores?action=CREATE ..
发布时间：2020-05-04 07:30:45 其他开发

如何在分布式Vertx系统中关联日志事件

在vertx的多个模块中进行日志记录时，基本要求是我们应该能够将单个请求的所有日志相关联. 由于vertx是异步的，因此保留logid，conversationid和eventid的最佳位置. 我们可以实现的任何解决方案或模式吗? 解决方案 在基于线程的系统中，当前上下文由当前线程保存，因此MDC或任何ThreadLocal都可以. 在基于Actor的系统(例如Vertx ..
发布时间：2020-05-03 07:54:05 其他开发

管理分布在多台计算机上的大量日志文件

我们已经开始使用第三方平台(GigaSpaces)，该平台可帮助我们进行分布式计算.我们现在要解决的主要问题之一是如何在此分布式环境中管理日志文件.当前，我们有以下设置. 我们的平台分布在8台计算机上.在每台计算机上，我们都有12-15个进程，这些进程使用java.util.logging记录为单独的日志文件.在该平台之上，我们拥有自己的应用程序，这些应用程序使用log4j和log来分隔文件 ..
发布时间：2020-05-03 06:38:24 Java开发

聚合来自多个服务器的多个日志文件的最佳方法

我需要一种简单的方法来监视分布在许多HP-UX服务器上的多个文本日志文件.它们是来自多个分布式旧系统的文本和XML日志文件的混合.当前，我们仅使用SSH到服务器并使用 tail -f 和 grep ，但是当您需要跟踪许多日志时，这种方法无法扩展. 由于日志的格式不同，只是文件夹中的文件(当它们达到特定大小时会自动旋转)，所以我既需要远程收集它们，又要分别解析每个文件. 我最初的想法是做 ..
发布时间：2020-05-03 06:29:48 其他开发

在Linux发行版之间分发二进制应用程序

我已经编写了一个到目前为止还不是开源的应用程序，并且我想在各种Linux发行版中分发可执行文件.最好的方法是什么，我已经看过.rpm和.deb打包了，但是我找不到是否可以将其用于二进制文件.理想情况下，我想要OS X上的PackageMaker或Windows上的常规安装程序之类的工具，将其自动复制到/usr/bin中.那是.rpm和.deb软件包的目的，还是我必须捆绑将自动执行的shell脚本? ..
发布时间：2020-05-01 11:11:01 服务器开发

多层vs散布?

多层和/或分发的应用程序，它们具有相同的含义吗? 当我们谈论这些应用程序中的层时，是物理层(数据库，浏览器，Web服务器等)还是逻辑层(数据访问层，业务层等)? 解决方案 也许这两个句子确实直观地传达了分布式和多层的区别: 分布式:您在节点之间复制处理 多层:您将处理划分为各层 在一种情况下，将相同的处理复制到多个节点上.在另一种情况下，每个层都有各自的职责，并且在每个 ..
发布时间：2020-04-30 07:20:32 其他开发