在RMI中传递远程参数
我想确认有关RMI理论。 让我们假设客户端A向服务器B请求对象O的远程引用。 现在，如果在O接口（接口）中有这样的方法： void foo（Interf obj）; 当客户端A调用O.foo（O）时，它将传递存根引用（在接收之前），然后服务器不使用其本地引用，而是使用存根对象（由客户端接收），因此服务器每次对O方法的调用将使用其TCP / IP服务。 可以吗？ 您应
..
distributed-computing相关内容
Apache Spark-如何压缩多个RDD
假设我有很多RDD，也许是 RDD [Int] ，我有一个函数定义了一个int序列并返回一个int，像是折叠： f：Seq [Int] => Int 。 如果我有一系列RDD， Seq [RDD [Int]] ，我该如何应用该函数并返回具有结果值的单个新RDD？我似乎在Spark中找不到实现此目标的 zipPartitions 方法。 解决方案 在某些时候， Seq [Int] 的元
..
芹菜不使用所有并发插槽
我有一个Celery群集，该群集由配备8核处理器的计算机组成。每台计算机上都有一个工人，并发因子设置为8（-c8）。 我经常看到节点上有很多保留任务，但是只有一个或两个同时运行。我的任务通常需要大量的计算和I / O才能长期运行。 关于为什么发生这种情况的任何想法，以及我可以做些什么来增加数量同时运行的任务？芹菜是否会根据系统负载限制活动任务的数量？我仔细阅读了文档，但内容简短。
..
infinispan中的自定义哈希函数
我使用的是Infinispan版本8.2，我已经知道节点何时将条目放入缓存，它会在密钥上使用其内部哈希并选择集群中的主节点。 我知道我们可以使用自定义哈希函数覆盖此哈希。但是我不知道从哪里开始以及如何开始。我搜索了很多文档和网站。但是，没有一个文档和网站 我希望有人对此提供帮助。 在此先感谢。 / p> 解决方案 如果您要谈论确定hashCode（这主要影响到映射Obje
..
搜索多个Solr核心的最佳方法
我正在开发一个用作solr客户端的应用程序。我必须进行多核搜索，其中字段完全相同。我不知道实现它的最佳方法。我在Java中使用solrj。 最好是使用solr的分布式搜索或使用应用程序侧的线程在每个单独的核心上进行搜索？ 示例 http：// XXXX：8983 / solr / core1 http：// XXXX：8983 / solr / core2 http：/ /
..
分布式Tensorflow：内部错误-Blas GEMM启动失败
我正在尝试分布式Tensorflow，并从localhost（Windows 10，Python 3.6.6，Tensorflow 1.8.0）上的两个进程开始。每个过程都运行一个简单的神经网络（一个隐藏层）的副本，该副本针对UrbanSounds数据集的子集（每个模型有5268个样本，每个样本有193个特征）进行建模。 撰写的帖子： https://learningtensorflow.c
..
Apache Spark连接操作的伸缩性较差
我在Apache Spark上运行“ join”操作，发现没有弱的可伸缩性。 我创建两个数据帧（“ a”，“ b”）和（“ a”，“ c”）并加入第一列的数据帧。我为“一对一”联接生成数据框值。另外，我使用相同的分区程序来避免随机播放。 数据帧中的行数-1024 * 1024 * 16 * cores_total（cores_total-哪个程序上的内核总数启动）。 “ a”列由随机
..
Java套接字-如何模拟多个客户端
我有一个用Java编写的套接字程序。 服务器利用DatagramSocket创建具有特定端口号的套接字。我有一个客户端Java程序，该程序连接到该服务器并发送一些消息。 当前我有3台笔记本电脑，所以我用1台笔记本电脑运行服务器，其余2台笔记本电脑运行成为客户。如何模拟100个客户端？ 我正在考虑为客户端编写一个包装器，并对其进行100次调用，但是问题出在那些模拟客户端的IP地址上
..
对于不同的编译版本和不同的机器，std :: hash对于相同的输入是否给出相同的结果？
我有一些随机测试参数，我需要为其计算哈希值以检测是否以相同的参数运行。我可能会使用在不同时间重新编译的相同源代码或在另一台计算机上运行该测试。 即使如此，我也想检测是否对相同的参数使用了相同的参数。跑。 对于不同的编译版本和不同的机器， std :: hash 对于相同的输入是否给出相同的结果？ 例如 std :: hash {}（“ TestcasePar
..
LRPC的意义是什么？为什么有人要对同一台计算机进行远程过程调用？
据我对RPC（远程过程调用）的了解，它们提供了一种将函数调用，调用等发送到远程计算机的方法。这样做的明显好处是，您可以在一个计算机集群上运行一个程序，并且可以处理更多请求，更多数据等等。 但是我对此感到困惑 LRPC-轻量级RPC 。 显然，存在这些东西是为了加快同一台计算机上的RPC。如论文我链接到： 轻量级远程过程调用（LRPC）是一种通信工具 ，其设计和优化用于同一台计算机上
..
Spark CollectAsMap
我想知道collectAsMap在Spark中的工作方式。更具体地说，我想知道所有分区的数据汇总将在哪里进行？聚集发生在主服务器或工人中。在第一种情况下，每个工作程序都会在主服务器上发送其数据，而当主服务器从每个工作人员收集数据时，主服务器将汇总结果。在第二种情况下，工人负责汇总结果（在他们之间交换数据之后），然后将结果发送给主数据库。 对于我来说，找到一种方法是至关重要的，这样主机才能能够
..
大规模分布系统中的日志文件
我在网格和HPC空间中进行了大量工作，而在数百个（有时甚至数千个）服务器中分布的系统所面临的最大挑战之一就是分析日志文件。 当前日志文件本地写入每个刀片上的磁盘，但我们也可以考虑使用UDP Appender发布日志信息并集中收集。 鉴于目标是能够尽可能接近实时地发现问题，我们该怎么办？ 解决方案 首先，使用NTP同步系统中的所有时钟。 第二，如果要在单个位置收集日志（ （
..
分布式系统中的非法状态监视器异常
这是我的代码。它应该实现一种在分布式系统中同步呼叫的方式。这是我发送消息并等待确认的部分。网络和对等设备被认为是可靠的。 我的问题与本地同步有关，因为它不断引发这种异常，我不明白为什么。 线程“ Thread-7”中的异常java.lang.IllegalMonitorStateException java.lang.Object.wait（本机方法） 在java.lang.Obj
..
ZeroMQ订阅服务器未通过inproc：传输类接收到发布者的消息
我对 pyzmq 很陌生。我试图理解 inproc： 运输类，并创建了此示例示例以供使用。 看起来 Publisher 实例正在发布消息，但 Subscriber 实例不接收任何实例。 如果我移动了 Subscriber 实例进入单独的 进程 ，并将 inproc：更改为 tcp： 运输类，该示例有效。 这里是代码： 导入线程 导入时间 导入zmq contex
..
Hazelcast-在客户端/服务器模式下为多个应用程序提供服务的最佳群集拓扑是什么？
几乎我们所有的应用程序都在嵌入式拓扑中使用Hazelcast集群。 由于应用程序的高负载，我们有时会遇到内存和cpu问题。因此，我们计划将拓扑从嵌入式模式更改为客户端/服务器模式。 问题是，是否应该为每个应用程序设置一个新集群？还是应该由一个群集为所有客户端应用程序服务？ 我知道可以在jvm中启动多个hazelcast实例（ http://docs.hazelcast.org/doc
..
Spark在WholeTextFiles上创建的分区少于minPartitions
我有一个包含14个文件的文件夹。我在具有10个执行程序的群集上运行spark-submit，该群集的资源管理器为yarn。 我按以下方式创建第一个RDD： JavaPairRDD files = sc.wholeTextFiles（folderPath.toString（），10）; 但是， files.getNumPartition
..
RMI服务器与RMI注册表
在 Oracle常见问题解答页面上关于Java RMI，它说： 理论上，Java远程方法调用（Java RMI）服务器可以在任何主机上将 ，它通常与运行注册表的 上的主机相同，并且在不同的端口上。即使 服务器误认为其主机名或IP地址（或主机名 根本无法被客户端解析），它仍会使用该错误的名称导出所有 对象主机名，但是每次尝试接收其中一个对象时，您都会看到 异常。 我不了解RM
..
分布式tensorflow复制训练示例：grpc_tensorflow_server-没有这样的文件或目录
我试图按照此博客中的说明进行分布式tensorflow 实现： Leo K. Tam 的分布式TensorFlow。我的目标是执行帖子中所述的复制培训 / p> 我已完成步骤，直到安装tensorflow 并成功运行以下命令并获得结果： sudo bazel-bin / tensorflow / cc / tutorials_example_trainer --use_gpu
..
使用COMPS构建C / C ++应用程序时出错：硬编码路径
我正在尝试构建使用C / C ++绑定开发的COMPSs应用程序。在构建应用程序时，出现以下错误。您是否有关于如何解决此问题的想法？ xxxx：〜/ xxx / c / increment> buildapp增量 * ------------------------------------------- -------------------------- * * * * BSC
..
paxos是否“忽略”？如果更新值与接受方发送的最高投标编号不同步，请求更新？
此处的标题可能会引起误解。我将通过一个示例来尽力解释我的疑问。 我正在从Wiki和其他来源阅读有关paxos算法的信息。 1）想象一下处理客户请求更新值的情况（下例中为 X ）。 经过一轮Paxos之后，选择了 Vb 值，因为接受者对投标者的答复包含其先前接受的投标编号和相应的值。在以下情况下，三个接受者将（8，Va），（9，Vb），（7，Vc）发送给当前拥有的提议者（10，X）。它
..