message-queue相关内容

是否可以使用 AVRO 为 Kafka 中的 Google Pub/Sub 主题定义模式?

据我所知，我们可以在 Kafka 上定义 AVRO 模式，使用该模式定义的主题将只接受与该模式匹配的数据.在接受进入队列之前验证数据结构非常有用. Google Pub/Sub 中有没有类似的东西? 解决方案 Kafka 本身不验证模式，因此主题本身没有模式，除了一对字节数组和一些元数据.序列化程序是生产客户端的一部分，在数据到达主题之前执行验证.同样，在 PubSub 中，归根结底 ..
发布时间：2021-11-12 02:49:09 其他开发

Apache Kafka 是否提供异步订阅回调 API?

我的项目将 Apache Kafka 视为一种潜在的替代基于 JMS 的陈旧消息传递方法.为了让这个过渡尽可能顺利，如果替换队列系统(Kafka)有一个异步订阅机制，类似于我们当前项目的使用 MessageListener 和 MessageConsumer 订阅主题并接收异步通知.如果 Kafka 不严格遵守 JMS API，我不太在意，但相反，如果我不需要，我宁愿不重新设计我们的整个发布-订阅 ..
发布时间：2021-11-12 02:46:00 Java开发

在Kafka中设计生产者和消费者的组件

我使用 Kafka 和 Zookeeper 作为数据管道的主要组件，每秒处理数千个请求.我使用 Samza 作为实时数据处理工具，用于我需要对数据进行的小型转换. 我的问题是我的一个消费者(比如 ConsumerA)消费了来自 Kafka 的几个主题并处理它们.基本上创建一个被消化的主题的摘要.我还想将此数据作为单独的主题推送到 Kafka，但这会在 Kafka 和我的组件上形成一个循环. ..
发布时间：2021-11-12 02:28:50 其他开发

使用 __consumer_offsets 杀死节点导致消费者没有消息消费

我有 3 个节点(nodes0、node1、node2)Kafka 集群(broker0、broker1、broker2)，复制因子为 2，Zookeeper(使用与 Kafka tar 一起打包的 zookeeper)在不同的节点(节点 4)上运行. 我在启动 zookper 和剩余节点后启动了代理 0.在 broker 0 日志中可以看到它正在读取 __consumer_offsets ..
发布时间：2021-11-12 02:15:40 其他开发

Kafka:无法创建多个流消费者

我刚刚启动并运行了 Kafka 0.8 beta 1.我有一个非常简单的示例启动并运行，问题是，我只能让一个消息消费者工作，而不是几个.也就是说， runSingleWorker() 方法有效.run() 方法不起作用: import kafka.consumer.ConsumerIterator;导入 kafka.consumer.KafkaStream;导入 kafka.consumer.C ..
发布时间：2021-11-12 02:13:15 Java开发

ActiveMQ vs Apollo vs Kafka

我以前没有任何使用 *MQ 的经验，我希望在一般情况下建立有关 JMS 和消息队列的知识.这样，我想知道我是应该从 ActiveMQ 开始还是完全“忽略"它并从自学 Apollo 开始.Apollo 和 ActiveMQ 一样功能齐全吗?它是否实现了 JMS 2.0(我看到 ActiveMQ 被 1.1 卡住了)?我会不会遗漏一些非常重要的东西? 另外，Kafka 与这两种解决方案相比如何? ..
发布时间：2021-11-12 02:06:53 其他开发

Samza:将消息处理延迟到时间戳

我正在使用 Samza 处理来自 Kafka 主题的消息.一些消息在未来带有时间戳，我想将处理推迟到该时间戳之后.与此同时，我想继续处理其他传入的消息. 我试图做的是让我的 Task 排队消息并实现 WindowableTask 以定期检查消息，如果它们的时间戳允许处理它们.基本思路如下: public class MyTask 实现了StreamTask, WindowableTask ..
发布时间：2021-11-12 02:04:20 其他开发

Apache Kafka 和 Camel 之间的区别(代理与集成)

我试图理解像 Kafka 这样的东西和像 Camel 这样的东西之间的区别.据我了解，Camel 将为开发人员提供更多的抽象，而不必担心在某种程度上改变协议/系统.卡夫卡怎么会无法处理骆驼现在可以做的大部分事情?我正在阅读文档，似乎 Kafka 已经更新/升级到足以稍微摆脱仅作为消息代理的境地.我想我的问题真的会归结为 Kafka 在未来证明系统方面与 Camel 相比如何，以及 Kafka 在哪 ..
发布时间：2021-11-12 01:58:21 其他开发

Apache Kafka 是否适合用作无序任务队列?

Kafka 根据生产者分配的分区将传入的消息分成多个分区.来自分区的消息然后被不同消费者组中的消费者消费. 这种架构让我对使用 Kafka 作为工作/任务队列持谨慎态度，因为我必须在生产时指定分区，这间接限制了哪些消费者可以对其进行工作，因为一个分区只发送给一个消费者消费群体.我宁愿不提前指定分区，以便任何可以执行该任务的消费者都可以这样做.有没有一种方法可以在 Kafka 架构中构建分区/ ..
发布时间：2021-11-12 01:51:40 其他开发

避免apache kafka消费者中重复消息的有效策略

我已经学习 apache kafka 一个月了.然而，我现在陷入了困境.我的用例是，我有两个或多个消费者进程在不同的机器上运行.我运行了一些测试，其中我在 kafka 服务器中发布了 10,000 条消息.然后在处理这些消息时，我杀死了一个消费者进程并重新启动它.消费者正在将处理过的消息写入文件.所以消费完成后，文件显示超过10k条消息.所以有些消息是重复的. 在消费者进程中，我禁用了自动提 ..
发布时间：2021-11-12 01:51:28 Java开发

Kafka - 如何在使用高级消费者的每条消息后提交偏移量?

我正在使用 Kafka 的高级消费者.因为我将 K​​afka 用作我的应用程序的“事务队列"，所以我需要绝对确保我不会错过或重新阅读任何消息.我有两个关于此的问题: 如何向zookeeper提交偏移量?每条消息成功消费后，我将关闭自动提交和提交偏移量.我似乎无法找到有关如何使用高级使用者执行此操作的实际代码示例.有人能帮我解决这个问题吗? 另一方面，我听说提交到 zookeeper ..
发布时间：2021-11-12 01:46:15 其他开发

Kafka 中的消费者再平衡是如何工作的?

当一个新的消费者/代理被添加或关闭时，Kafka 会触发重新平衡操作.Kafka Rebalancing 是阻塞操作吗?在进行重新平衡操作时，Kafka 消费者是否被阻止? 解决方案 取决于您所说的“阻止"是什么意思.如果您的意思是“触发重新平衡时现有连接是否已关闭"，那么答案是肯定的.不幸的是，目前Kafka的重新平衡算法并不完善. 以下是消费者再平衡期间发生的事情. 假设我 ..
发布时间：2021-11-12 01:46:04 其他开发

如何根据消息头属性仅读取特定队列消息

我在 activemq 队列中有一个消息列表.每条消息都有一个带有值的自定义标头属性.我应该如何才能仅访问自定义标头属性值 = 123 的那些消息.? 我正在使用类似下面的东西从队列中选择一条消息.如何选择具有 customHeaderProperty =123 的所有消息或单个消息.? ConsumerTemplate consumerTemplate = camelContext.cr ..
发布时间：2021-11-11 23:04:24 其他开发

Apache Kafka 和 Camel 之间的区别(代理与集成)

我试图理解像 Kafka 这样的东西和像 Camel 这样的东西之间的区别.据我了解，Camel 将为开发人员提供更多的抽象，而不必担心在某种程度上改变协议/系统.卡夫卡怎么会无法处理骆驼现在可以做的大部分事情?我正在阅读文档，似乎 Kafka 已经更新/升级到足以稍微摆脱仅作为消息代理的境地.我想我的问题真的会归结为 Kafka 在未来证明系统方面与 Camel 相比如何，以及 Kafka 在哪 ..
发布时间：2021-11-11 22:49:19 其他开发

是否可以使用数据流将 pubsub 消息删除重复的 pubsub 消息?

我有一个将数据写入 Google Cloud pubsub 的应用程序，根据 pubsub 的文档，由于重试机制而导致重复是偶尔发生的事情.还有就是pubsub也不能保证的乱序消息. 此外，根据文档，可以使用 Google Cloud Dataflow 对这些消息进行重复数据删除. 我想让这些消息在消息队列(意味着云发布订阅)中可用，供服务使用，云数据流似乎有一个发布订阅者，但是你不会 ..
发布时间：2021-11-11 22:34:50 其他开发

如何告诉 MessageQueue.SendMessageConnection 如何“XMLize"要发送的对象?

我在 C# 中使用 System.Messaging.MessageQueue.SendMessageConnection 来发送一个对象，其中包含一些参数，例如: _sendQueue.Send(myObject, ...); My myObject 是一个对象，包含一些属性，比如 Field1. 我正在检查我的消息是如何发送的，使用: 计算机管理 服务和应用 消息队列 私 ..
发布时间：2021-10-02 18:54:15 C#/.NET

将消息从 SQL 添加到 Azure 服务总线队列

我的一个数据库表上有一个 SQL 触发器，并且想在执行 SQL 触发器时向我的 Azure 服务总线队列添加一条消息. 有人有如何执行此操作的 SQL 代码示例吗? 值得一提的是，SQL 将在 Azure 中运行的 SQL 数据库中运行. 请不要开始讨论是否使用 SQL 触发器的问题，这纯粹是为上述问题获取可用的 SQL 代码. 解决方案 不清楚您的 SQL 是在 VM ..
发布时间：2021-09-09 19:58:44 其他开发