apache-kafka相关内容

TimeoutException:获取主题元数据 Kafka 时超时

我一直在尝试使用 Kubernetes 在本地部署带有架构注册表的 Kafka.但是,架构注册表 pod 的日志显示此错误消息: ERROR 服务器意外死亡:(io.confluent.kafka.schememaregistry.rest.SchemaRegistryMain:51)org.apache.kafka.common.errors.TimeoutException:获取主题元数据时 ..
发布时间:2021-11-28 21:46:48 其他开发

Kafka Stream StateStore 在所有实例上是全局的还是本地的?

在 Kafka Stream WordCount 示例中,它使用 StateStore 来存储字数.如果同一个消费者组中有多个实例,StateStore 对组来说是全局的,还是只是一个消费者实例的局部? 感谢 解决方案 这取决于您对 state store 的看法. 在 Kafka Streams 中,状态是共享的,因此每个实例都包含整个应用程序状态的一部分.例如,使用 DSL ..
发布时间:2021-11-28 21:39:27 其他开发

如何批量处理最大大小的 KStream 或回退到时间窗口?

我想创建一个基于 Kafka 流的应用程序,该应用程序处理一个主题并分批接收大小为 X(即 50)的消息,但如果流的流量较低,则在 Y 秒内为我提供流中的任何内容(即5). 因此,我不是一个一个地处理消息,而是处理一个 List[Record],其中列表的大小为 50(或可能更少). 这是为了让一些 I/O 绑定处理更高效. 我知道这可以用经典的 Kafka API 来实现,但我 ..
发布时间:2021-11-28 21:39:16 其他开发

Kafka 接收器连接器:即使重启后也未分配任务

我在一组 Docker 容器中使用 Confluent 3.2,其中一个正在运行 kafka-connect worker. 由于我不清楚的原因,我的四个连接器中的两个 - 具体来说,hpgraphsl 的 MongoDB接收器连接器 - 停止工作.我能够确定主要问题:连接器没有分配任何任务,这可以通过调用 GET/connectors/{my_connector}/status 看到.其他 ..
发布时间:2021-11-28 21:38:53 其他开发

Apache Kafka 客户端什么时候会抛出“Batch Expired"?例外?

使用 Apache Kafka Java 客户端 (0.9),我尝试使用 Kafka Producer 类. 异步send 方法 立即返回一段时间,然后在短时间内开始阻塞每次调用.大约三十秒后,客户端开始抛出异常 (TimeoutException),带有消息“批量过期". 什么情况会导致抛出这个异常? 解决方案 此异常表示您正在以比发送记录更快的速度排队记录. 当您调用 ..
发布时间:2021-11-28 21:38:17 Java开发

如何将 KAFKA 的属性外部化为不同的类并将其调用到主类?

我一直在尝试使用抽象 OOP 来外部化属性代码,这样我就可以将它调用到生产者类,但我似乎无法调用它.这是代码,任何帮助将不胜感激. 公共类生产者{私有静态最终记录器记录器 = LogManager.getLogger(Producer.class);公共静态无效主(字符串 [] args){logger.info(“创建卡夫卡生产者...");KafkaProducer生产者 = 新的 Kafk ..
发布时间:2021-11-26 17:34:28 Java开发

如何在彼此独立的同一个盒子上运行多个 kafka 消费者?

我有两个 Kafka 消费者 ConsumerA 和 ConsumerB.我想在同一台机器上运行这两个相互独立的 kafka 消费者.他们之间根本没有任何关系.这两个 kafka 消费者将在同一台机器上处理不同的主题. 每个使用者都应该有一个不同的 Properties 对象. 每个使用者都应该有不同的线程池配置,因为它们可以在需要时独立于其他使用者以多线程方式(使用者组)运行. 以 ..
发布时间:2021-11-26 17:01:18 Java开发

如何使用 Kafka 发送大消息(超过 15MB)?

我使用 Java Producer API 向 Kafka V. 0.8 发送字符串消息.如果消息大小约为 15 MB,我会收到 MessageSizeTooLargeException.我已尝试将 message.max.bytes 设置为 40 MB,但仍然出现异常.小消息工作没有问题. (异常出现在生产者中,我在这个应用程序中没有消费者.) 我该怎么做才能摆脱这个异常? 我 ..
发布时间:2021-11-25 13:59:44 Java Web开发

连接到在 Docker 中运行的 Kafka

我在本地机器上设置了一个单节点的 Kafka Docker 容器,就像 Confluent 文档(步骤 2-3). 此外,我还公开了 Zookeeper 的 2181 端口和 Kafka 的 9092 端口,以便我能够从本地机器上运行的客户端连接到它们: $ docker run -d \-p 2181:2181 \--net=汇合\--name=动物园管理员\-e ZOOKEEPER_C ..
发布时间:2021-11-25 10:32:14 Java Web开发

如何在彼此独立的同一个盒子上运行多个 kafka 消费者?

我有两个 Kafka 消费者 ConsumerA 和 ConsumerB.我想在同一台机器上运行这两个相互独立的 kafka 消费者.他们之间根本没有任何关系.这两个 kafka 消费者将在同一台机器上处理不同的主题. 每个使用者都应该有一个不同的 Properties 对象. 每个使用者都应该有不同的线程池配置,因为它们可以在需要时独立于其他使用者以多线程方式(使用者组)运行. 以 ..
发布时间:2021-11-25 09:33:34 C#

带有 MassTransit 的 Kafka Producer - IBusInstance 尚未注册

我正在尝试使用 MassTransit 构建 Kafka 消费者 我有这段代码 var services = new ServiceCollection();services.AddMassTransit(x =>{x.AddRider(骑手 =>{Rider.AddProducer(“request", m => m.Message.RequestId);骑手.使用Kafka((上下文,k ..
发布时间:2021-11-24 20:19:17 C#

连接到在 Docker 中运行的 Kafka

我在本地机器上设置了一个单节点的 Kafka Docker 容器,就像 Confluent 文档(步骤 2-3). 此外,我还公开了 Zookeeper 的 2181 端口和 Kafka 的 9092 端口,以便我能够从本地机器上运行的客户端连接到它们: $ docker run -d \-p 2181:2181 \--net=汇合\--name=动物园管理员\-e ZOOKEEPER_C ..
发布时间:2021-11-19 22:31:12 Java Web开发

在 kafka 事件驱动的主干中保持服务同步

假设我在系统设计中使用 Kafka 作为我所有微服务的事件驱动主干.许多微服务使用事件数据来填充其内部数据库.现在有一个需求,我需要创建一个新服务,它使用一些事件数据.该服务只能在它上线后才能使用事件,因此不会有很多丢失的数据.我想要一个策略,这样我就不必通过编写脚本来回填我的内部数据库. 我可以采用哪些不会给 Kafka & 带来巨大负载的很酷的策略?没有在我创建的新服务中使用大量脚本来回 ..
发布时间:2021-11-17 03:02:30 其他开发

设计 Kafka 消费者和生产者以实现可扩展性

我想设计一个解决方案,用于向多个提供商发送不同类型的电子邮件.总体概述. 我有几个上游提供商 Sendgrid、Zoho、Mailgun 等.它们将用于发送电子邮件等.例如: 注册新用户的电子邮件 删除用户的电子邮件 空间配额限制的电子邮件 (一般来说大约有 6 种类型的电子邮件) 每种类型的电子邮件都应该生成到生产者中,转换成序列化的 Java 对象并发送到与上游提供 ..
发布时间:2021-11-17 02:44:31 其他开发

使用 mqtt 协议和 kafka 作为消息代理

我们如何使用 mqtt 协议和 kafka 作为消息代理? 客户端(android/ios/desktop java 应用程序等)将使用 mqtt phao 客户端库生成和消费消息,这些客户端库使用 kafka 作为消息代理提供不同的语言版本. 有什么建议吗? 解决方案 您可以使用 Kafka 源连接器,它将数据从 Mosquitto 等 MQTT 代理流式传输到 Kafka ..
发布时间:2021-11-17 02:30:00 其他开发

Apache Kafka 是否适合用作无序任务队列?

Kafka 根据生产者分配的分区将传入的消息分成多个分区.来自分区的消息然后被不同消费者组中的消费者消费. 这种架构让我对使用 Kafka 作为工作/任务队列持谨慎态度,因为我必须在生产时指定分区,这间接限制了哪些消费者可以对其进行工作,因为一个分区只发送给一个消费者消费群体.我宁愿不提前指定分区,以便任何可以执行该任务的消费者都可以这样做.有没有一种方法可以在 Kafka 架构中构建分区/ ..
发布时间:2021-11-17 01:58:11 其他开发

MacOS M1 上的 Docker kafka 问题停留在配置上

我使用的是 macOS M1 Big Sur 11.2.3,但我的 kafka 无法正常运行,无法创建/列出主题.不知道是不是操作系统的原因,但是kafka的日志是这样的: docker-compose 日志 列出主题日志 这是我的 docker compose: 服务:动物园管理员:图片:wurstmeister/动物园管理员容器名称:动物园管理员主机名:zookeeper端 ..
发布时间:2021-11-16 20:33:35 其他开发

ActiveMQ vs Apollo vs Kafka

我以前没有任何使用 *MQ 的经验,我希望在一般情况下建立有关 JMS 和消息队列的知识.这样,我想知道我是应该从 ActiveMQ 开始还是完全“忽略"它并从自学 Apollo 开始.Apollo 和 ActiveMQ 一样功能齐全吗?它是否实现了 JMS 2.0(我看到 ActiveMQ 被 1.1 卡住了)?我会不会遗漏一些非常重要的东西? 另外,Kafka 与这两种解决方案相比如何? ..
发布时间:2021-11-15 22:04:31 其他开发