Redis Vs RabbitMQ作为Logstash和弹性搜索之间的数据中介/消息系统 [英] Redis Vs RabbitMQ as a data broker/messaging system in between Logstash and elasticsearch

问题描述

我们正在定义一种通过Logstash托运人收集日志信息的架构，它们安装在各种机器中并集中在一个弹性搜索服务器中索引数据，并使用Kibana作为图形层。我们需要一个可靠的消息传递系统，在Logstash托运人和弹性搜索之间进行交付。在Logstash发货人和弹性搜索之间选择Redis over RabbitMQ作为数据中介/消息传递系统时应考虑什么因素？

We are defining an architecture to collect log information by Logstash shippers which are installed in various machines and index the data in one elasticsearch server centrally and use Kibana as the graphical layer. We need a reliable messaging system in between Logstash shippers and elasticsearch to grantee the delivery. What factors should be considered when selecting Redis over RabbitMQ as a data broker/messaging system in between Logstash shippers and the elasticsearch or vice versa?

推荐答案

在评估Redis和RabbitMQ后，我选择RabbitMQ作为我们的经纪人，原因如下：

After evaluating both Redis and RabbitMQ I chose RabbitMQ as our broker for the following reasons:

1. RabbitMQ允许您使用内置通过使用SSL证书加密发送给代理的数据，这意味着没有人会嗅探您的数据并访问您的重要组织数据。


2. RabbitMQ是一个非常稳定的产品，每秒可以处理大量的事件和许多连接，而不需要瓶颈。


3. 在我们的组织中，我们已经使用了RabbitMQ，并且拥有良好的内部知识，使用它和已经准备好与厨师的整合。

关于扩展，RabbitMQ有一个内置的集群实现，你可以除了负载平衡器以实现冗余代理环境。

Regarding scaling, RabbitMQ has a built in cluster implementation that you can use in addition to a load balancer in order to implement a redundant broker environment.

我的RabbitMQ群集是活跃的还是被动的？

使用RabbitMQ的点：

Now to the weaker point of using RabbitMQ:

1. 大多数Logstash托运人不支持RabbitMQ，但另一方面，最好的一个名为Beaver的这将发送数据到RabbitMQ没有问题。


2. Beaver与RabbitMQ在当前版本中的实现在性能上有点慢（对我而言），并且无法处理一个服务器的速度为3000事件/秒，服务崩溃。


3. 现在我正在修复一个解决RabbitMQ的性能问题的修复程序，并使海狸托运人更稳定第一个解决方案是添加更多可以同时运行的流程，并为托运人提供更多的权力。第二个解决方案是改变海狸的异步发送数据到RabbitMQ理论上应该要快得多。我希望在本周末之前完成这两个解决方案的实施。

您可以在这里关注这个问题：
https://github.com/josegonzalez/python-beaver/issues/323

You can follow the issue here: https://github.com/josegonzalez/python-beaver/issues/323

在此查看拉请求：
https://github.com/josegonzalez/python-beaver/pull/324

如果您有更多问题可以随时发表评论。

If you have more questions feel free to leave a comment.

这篇关于Redis Vs RabbitMQ作为Logstash和弹性搜索之间的数据中介/消息系统的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！