distributed相关内容

Mapreduce/Hadoop中两个数据集的合并

有人知道如何在Hadoop中的两个数据集之间实现Natural-Join操作吗? 更具体地说，这就是我要做的事情: 我有两组数据: 存储为(tile_number，point_id:point_info)的 点信息，这是一个1:n键-值对.这意味着对于每个tile_number，可能会有多个point_id:point_info 行信息存储为(tile_number，li ..
发布时间：2019-09-19 16:15:55 其他开发

基于分布式JMS的日志记录..趋于平稳?

在我们花哨的ESB中，每个请求的记录都是通过基于基于JMS的记录的通用基础结构完成的.简而言之，这是发生了什么: 服务获得请求服务 准备LogData中的一些数据 对象服务调用数据库 数据库交互花费的时间在LogData对象中捕获 服务已准备就绪，可以发送响应 LogData对象已发送到消息传递目的地 服务发送响应 非常玫瑰色！是的，对于纸张建筑师. 这是实际的问题: 由于 ..
发布时间：2019-09-18 19:41:18 Java开发

JMeter负载测试:ClassNotFoundException:com.blazemeter.jmeter.threads.concurrency.ConcurrencyThreadGroup

我正在尝试非GUI和分布式JMeter负载测试. 在分发之前，我先在本地进行了测试.我在笔记本电脑上安装了JMeter，并针对被测系统设置了一个测试计划.我安装了插件管理器并安装了并发线程插件. 我发现我的JMX文件正确且可以正常工作，因此我决定推出分布式设置. 我设置了三台用于生成负载的机器:load-1，load-2和load-3.我安装了JMeter，如下所示: 在所有的apt ..
发布时间：2019-09-17 19:17:44 Java开发

在使用RMI的分布式系统上使用Apache Shiro的正确方法？

我正在寻找有关如何使用Java RMI将Apache Shiro实现为分布式系统（客户端 - 服务器）的一部分的指南/提示。 I看过这个帖子的答案：如何组织RMI客户端 - 服务器架构我正在考虑使用类似的东西。我计划的是一个远程对象（可能是Singleton？），它在客户端登录时处理身份验证。如果登录成功，则会创建一个新的会话对象。但我不太确定这个对象在哪里以及存储在其中的信息。它应该传递给 ..
发布时间：2019-01-09 20:41:07 Java开发

如何为Java应用程序创建简单的分布式Map？

我正在寻找一个Map来在不同机器上运行的两个Java Web应用程序实例之间共享信息。读取和写入此映射需要非常快，并且不必是事务性的，即如果一个实例有一段时间的陈旧数据就可以了。 任何建议？ 我需要跟踪用户上次在应用程序中执行某些操作的情况，因此如果此信息已过期，则非常糟糕。速度和易用性很重要。我不希望写入Map以影响响应时间。 解决方案 我会尝试Hazelcast，JGrou ..
发布时间：2019-01-08 12:46:53 Java开发

Java RMI：rmic编译器生成的stub-skeleton的作用是什么

我目前正在学习Java RMI（远程方法调用），我在其网站上遵循了Oracle提供的教程。不过我有一个特别的问题： rmic生成的stub-skeleton的用途是什么？我真的需要吗？ 解决方案 Stub / Skeleton隐藏了开发人员的通信细节。 Stub是实现远程接口的类。它充当远程对象的客户端占位符。存根与服务器端骨架通信。 骨架是服务器端存根的对应物。两者都通过网络进行 ..
发布时间：2018-12-27 18:30:55 Java开发

使用Java代码的Jmeter分布式测试

我能够使用Java代码运行Jmeter，但如果我想和分布式测试一样，那么我如何在Java代码中添加远程引擎。 解决方案 这是示例代码，用于从Java代码启动远程引擎。 有关使用JMeter进行远程测试的文档 和a 示例以编写本地测试代码。 ..
发布时间：2018-12-24 12:54:43 Java开发

分布式系统

我希望用Java创建一个分布式框架，需要一些帮助来整理客户端/经理/工作人员情况的实现，如下面的伪代码所述。 经理 BEGIN WHILE（true） 收到来自客户的消息 IF（worker_connections> 0）那么 FOR（ i = 0; i ..
发布时间：2018-12-20 02:06:55 Java开发

类似于memcached的键/值缓存，它同时使用RAM和磁盘

我有一个java Web应用程序，可以后端使用第三方Web服务。调用Web服务会产生延迟，这在任何可能的情况下都很重要。此外，我的应用程序每天只允许拨打一定数量的网络服务电话，因此除非绝对需要，否则最好不要拨打网络服务电话。 我目前解决方案是将Web服务结果缓存在Memcached中，这很有效。基本上，我们使用RAM来缓存Web服务结果。 但是，我们希望将其提升到新的水平。我们还有磁盘 ..
发布时间：2018-12-17 11:09:58 Java开发

memcached的替代方法，可以持久保存到磁盘

我目前正在使用memcached和我的java应用程序，总体来说它工作得很好。 对我来说最重要的memcached的功能是： 它很快，因为读取并且写入内存并且不要触摸磁盘 它只是一个键/值存储（因为这是我的所有应用程序需要） 它的分发 它通过让每个对象只在一台服务器上有效地使用内存 它不假设对象来自数据库（因为我的对象不是数据库对象） 但是，有一件事我想做，memcach ..
发布时间：2018-11-28 20:45:17 Java开发

无NTP的小占用时钟同步

我正在寻找一种简单的时钟同步协议，该协议很容易实现，占用空间小，并且在没有互联网连接的情况下也可以使用，因此可以使用它。在封闭的实验室网络内要清楚，我不是在寻找可以仅用于命令事件（例如矢量时钟）的东西，而是能够使不同节点上的进程基于本地时钟同步其动作的东西。据我了解，这需要一个可以考虑时钟漂移的解决方案。可以假设存在TCP / IP或类似的相对低延迟的流连接。 解决方案 免责声明：我不是N ..
发布时间：2018-09-26 14:15:05 其它硬件开发

什么是好的，基于Windows和iis（http）的分布式版本控制系统

在我的工作中，我们制造&出售网站。通常我们在客户的服务器上安装基于.NET C＃的站点，并远程维护和支持它。但是，每隔一段时间，为了更大的开发工作，只是为了使事情更简单（更快！），我们将把网站复制到本地服务器。 这个很棒，但有一点痛苦 - 将网站移回给客户。现在，如果客户的副本没有任何变化 - 没问题。然而，有些时候（比我想要的更频繁地读取）需要在生产服务器上应用一些修复，这是一个可悲的事实 ..
发布时间：2018-07-10 10:15:46 其他开发

基于用户的可变数据源

我目前正在开发一个后端，第一次运行安全法则等等，它使我的数据库设计变得复杂： 规格 包含有限用户信息（user_id，电子邮件，密码（哈希和盐渍））的数据库应用程序的中央服务器可以位于任何位置。 使用我们服务的组织要求将所有其他信息存储在内部，因此该特定组织的数据库位于其建筑物中。 我们中央数据库中的用户ID由这些组织数据库中的多种类型的用户使用，其中存储了有关该用户的更多信息（ ..
发布时间：2018-06-11 14:52:50 J2EE

Haskell函数能够被序列化吗？

最好的方法是获得函数的表示（如果它可以以某种方式恢复）。出于效率原因，二进制序列化是首选。 我认为有一种方法可以在Clean中执行，因为不可能实现依赖于任务的iTask（所以函数）可以保存并在服务器再次运行时继续。 这对分布式haskell计算必不可少。 我不想在运行时解析haskell代码，如下所述：序列化在Haskell中的函数。 我还需要序列化，而不仅仅是反序列化。 ..
发布时间：2018-06-04 14:53:58 其他开发

使用MapReduce查找数字的平均值

我一直在尝试编写一些代码来使用MapReduce查找数字的平均值。 我试图使用全局计数器来达到我的目标，但我不是能够在我的Mapper的 map 方法中设置计数器值，我也无法检索 reduce 我是否必须在 map 中使用全局计数器（例如，通过使用提供的 Reporter ）的 incrCounter（key，amount）或者你会建议任何不同的逻辑来获得一些数字的平均值？ 解决 ..
发布时间：2018-05-31 19:31:17 Java开发

Java Hadoop：我如何创建映射器作为输入文件并给出每个文件中行数的输出结果？

我是Hadoop的新手，我管理的只是运行wordCount示例： http://hadoop.apache.org/common/docs/r0.18.2/mapred_tutorial.html 假设我们有一个文件夹有3个文件。我希望每个文件都有一个映射器，这个映射器只会计算行数并将其返回给reducer。 然后reducer将作为输入每个映射器的行数，并给出所有3个文件中存在的行的 ..
发布时间：2018-05-31 19:21:53 Java开发

使用Hadoop的经验？

你们有没有试过Hadoop？无共享体系结构中的分布式文件系统能否使用它？这是有道理的吗？ 我也对你有任何表现结果感兴趣... 解决方案 是的，您可以在各个地方使用文件URI而不是hdfs URI来在本地文件系统上使用Hadoop。我认为很多Hadoop的例子都是这样做的。 如果您只想了解Hadoop的工作原理和基本的map-reduce范例，但您需要多台机器和一个分布式文件系统 ..
发布时间：2018-05-31 19:10:52 分布式计算/Hadoop