具有作业亲和力的作业队列
我目前遇到一个问题，我可以肯定有一个正式名称，但是我不知道该在网上搜索什么.我希望如果我描述问题和解决方案时想到的，有人能够告诉我设计模式的名称(如果有一个与我要描述的内容相匹配的设计模式). 基本上，我想拥有一个工作队列:我有多个创建工作的客户端(发布者)，以及许多处理这些工作的工人(消费者).现在，我想将发布者创建的作业分发给各个使用者，这基本上可以使用几乎任何消息队列并在队列之间进行负
..
distributed相关内容
忽略Dask分布式中长时间运行的任务
在这篇文章中讨论了已经开始的任务无法在Dask中取消(语言限制). 但是，如果我只想省略那些任务怎么办? start_computing_time = time.time()为了将来在task_pool中使用:如果条件:do_something_long(future.result())别的:future.cancel()total_computing_time = time.time(
..
达斯分布.如何在正在计算的函数中获取任务密钥ID?
我使用dask.distributed进行的计算包括创建中间文件，这些文件的名称包括UUID4，以标识该工作块. 对='{} \ n {} \ n {} \ n {}'.format(list1，list2，list3，...)file_path = os.path.join(job_output_root，'pairs'，'pairs-{}.txt'.format(str(uuid.uuid4
..
如何在dask/distributed中存储工人局部变量
使用dask 0.15.0，分发了1.17.1. 我想记住每个工作人员的一些事情，例如访问Google云存储的客户端，因为实例化它很昂贵.我宁愿将此存储在某种worker属性中.做到这一点的规范方法是什么?还是全球人走的路? 解决方案 在工作人员上 您可以通过 get_worker 功能.比将全局变量更干净的事情是将状态附加到工人: 来自dask的 .distribute
..
DynamoDB一致的读取导致架构错误
我正在尝试使用boto与python中的DynamoDB表进行交互.我希望所有读取/写入均达到法定人数一致性，以确保写入后立即发出的读取始终反映正确的数据. 注意:我的表设置为将"phone_number"作为哈希键，并将first_name + last_name作为辅助索引.并且出于这个问题的目的，数据库中存在一个(只有一个)项(first_name ="Paranoid"，last_n
..
.thrift文件在基于Apache Thrift的应用程序中的实际目的是什么？
.thrift 文件位于应用程序的服务器端还是客户端？ 什么基于Apache Thrift的应用程序中 .thrift 文件的实际目的是什么？ 它仅用于生成最少的源代码吗？该应用程序的代码，还是有其他用途？ 我是否可以不借助 .thrift 文件？ 解决方案 *。thrift 文件是IDL文件，其中IDL代表接口描述语言。该文件的主要目的是为所需的目标语言生成特定于服务的
..
如果logdir在HDFS中，则分布式Tensorflow 1.0 Supervisor卡住了
我在centOS 8上为CPU构建了TF 1.0二进制文件。如果主管的日志目录位于本地磁盘中，则我针对MNIST数据的分布式培训代码可以正常工作。但是，如果我将Supervisor的logdir更改为HDFS，则代码将停留在Supervisor的初始化中： sv = tf.train.Supervisor（is_chief =（FLAGS.task_index == 0）， logdir
..
使用分布式查询将Excel导入到SQL Server
只要在运行脚本时使用的用户凭据是sysad，我就可以在本地和生产环境中成功进行设置。 此网址（http://www.excel-sql-server.com/excel-import-to-sql-server-using-distributed-queries.htm）谢尔盖·瓦瑟连科（Sergey Vaselenko）很有帮助 它已经启动并运行了几个月。突然之间，在上周的某个时候，
..
在J2EE服务器中的两个不同应用程序之间匹配两个对象实例的最佳方法是什么？
我有一个J2ee应用程序，我基本上希望两个单独的servlet创建的两个对象可以直接通信，并且我需要这些实例保持稳定，即在会话期间彼此“了解”。 顺序大致为： 客户端向Servlet＃1发送请求，Servlet 1创建对象A 客户端向第二个创建对象B的servlet＃2发送第二个请求（在第一次返回之后）。 对象B使用JNDI找到A ，并且两个对象进行交互。 客户端现在继续向对象A
..
在Orientdb中以分布式模式创建数据库
我们的系统以编程方式创建OrientDB数据库，并为每个客户使用一个数据库（在任何人放弃使用此设计之前，原因是安全性，在数据中心/区域之间移动某些客户/数据的可能性以及将其迁移到内部部署的可能性）。 这在OrientDB中以单模式运行时效果很好。但是，当数据库以分布式模式设置时（亚马逊上有3台服务器）。温和地说，这种行为很奇怪。我知道文档没有对此表示任何支持，但是我也找不到任何不支持的信息。
..
如何使用Docker部署分布式H2O流集群？
我能够使用ec2实例部署h2o集群，并在平面文件中拥有私有ip。对docker进行相同的操作，但我无法弄清楚要输入平面文件中的内容，以便他们创建集群。容器正在运行的专用IP无法正常工作 解决方案 最终，在docker中运行H2O的解决方案可能是使用网络像 weave 这样的插件，因为编织可以使用多播（与docker overlay不同）。 但是我设法破解了一个在覆盖网络和平面文件上的
..
tf.train.SyncReplicasOptimizer是否多次完成将参数从聚合梯度更新为值的更新？
在 /model/inception/inception/inception_distributed_training.py 中，为每个工人调用apply_gradients。 apply_gradients_op = opt.apply_gradients（grads，global_step = global_step） 并进入SyncReplicasOptimizer.
..
Majordomo经纪人：处理大量连接
我正在使用在这里找到的majordomo代码（ https://github.com/zeromq/majordomo ），方法如下： 我不再使用单个 经纪人 来处理请求和答复，两个 经纪人 ，这样其中一个可以处理所有请求，另一个可以处理所有答复。 I做了一些测试，看看majordomo 经纪人 可以处理多少个连接： 每个客户端的请求数已处理的请求数而无pkt损失 1614
..
分布式TensorFlow [异步，图形间复制]：这是工作程序和服务器之间有关变量更新的确切交互
我已阅读分布式TensorFlow文档和有关StackOverflow的问题，但我仍然对TensorFlow及其参数服务器体系结构可以进行的分布式培训背后的动态性仍有疑问。 这是来自分布式TensorFlow Doc的一段代码： 如果FLAGS.job_name ==“ ps”： server.join（） elif FLAGS.job_name ==“ worker”： ＃默认情
..
我自己的自定义二进制文件有NoSql吗？
最初，我只需要处理1.5 [TB]的数据。由于我只需要快速的读写操作（无需任何SQL），因此我设计了自己的平面二进制文件格式（使用 python 实现），并轻松地（愉快地）保存了数据并在一台机器上操纵它。当然，出于备份目的，我添加了两台机器用作精确镜像（使用 rsync ）。 目前，我的需求正在增长，并且有必要构建一种能够成功扩展至20TB（甚至更多）数据的解决方案。 我很高兴继续使用我的平
..
分布式版本控制系统
我想和我的程序员一起实现分布式版本控制系统。他们四处散落。全部使用不同的IDE或不使用IDE /不同的操作系统。我是整个场景的新手。 另外，我们没有服务器的root权限，因此我们无法使用服务器。 怎么做？我最好与GUI一起使用哪种客户端工具。 以及如何在服务器或Web托管站点上实现它？ 解决方案 这样做会更容易： 运行类似虚拟机的映像（例如Docker，无需root ，应该是可
..
分布式python编程
我正在尝试将python程序的执行分为两个不同的机器。我想知道是否有一种方法可以在一台机器上从另一台机器上调用python解释器。不要在另一台机器上运行脚本，而是将执行任务分成两台机器。 在接下来的几个月中，我将自学分布式编程，我认为这将是一个很好的开始。 我认为第一步是使用一台计算机调用另一台计算机并将其发送给另一台计算机。该程序。然后，下一步将是两台机器一起执行相同的程序并进行通信
..
分布式tensorflow参数服务器和工作器
我一直在密切关注Imagenet分布式TF火车示例。 当在两个不同的示例上运行该示例时，我无法理解数据的分配方式工人？从理论上讲，不同的工作人员应查看数据的不同部分。另外，代码的哪一部分告诉参数在参数服务器上传递？像在multi-gpu的示例中一样，在'cpu：0'中有一个明确的部分。 解决方案 不同的工作人员看到的不同通过从预处理图像的单个队列中取出微型批处理图像来使数据的一部分成
..
Git如何进行分布式源代码管理？
我是具有UNIX SCCS和Microsoft Visual SourceSafe经验的Git新手。我只是在学习Git，它的学习曲线似乎很大且令人痛苦。我已经看到Git吹走了我所有尚未提交的数据文件，这令我感到担忧。 （实用程序如何在不发出警告的情况下删除数据文件，这超出了我的理解。） Linus Torvalds在有关Git的视频中声称Git是分布式的，吹捧了分发的好处，但是除了每个人都有
..
PHP中有哪些好的分布式队列管理器？
我正在处理图像处理网站，而不是让冗长的工作拖累用户浏览器，我希望所有命令都以工作ID快速返回，并让后台任务完成实际工作。然后，该id可用于检查状态和结果（即已处理图像的url）。我已经找到了很多用于ruby，java和python的分布式队列管理器，但是我对这些语言中几乎没有足够的知识能够使用它们。 我自己的测试是使用共享的mysql数据库对作业进行排队，将其锁定为工作器，并将其标记为已完成
..