apache-kafka相关内容

如何使用 Kafka 发送大消息(超过 15MB)?

我使用 Java Producer API 向 Kafka V. 0.8 发送字符串消息.如果消息大小约为 15 MB，我会收到 MessageSizeTooLargeException.我已尝试将 message.max.bytes 设置为 40 MB，但仍然出现异常.小消息工作没有问题. (异常出现在生产者中，我在这个应用程序中没有消费者.) 我该怎么做才能摆脱这个异常? 我 ..
发布时间：2021-11-25 13:59:44 Java开发

连接到在 Docker 中运行的 Kafka

我在本地机器上设置了一个单节点的 Kafka Docker 容器，就像 Confluent 文档(步骤 2-3). 此外，我还公开了 Zookeeper 的 2181 端口和 Kafka 的 9092 端口，以便我能够从本地机器上运行的客户端连接到它们: $ docker run -d \-p 2181:2181 \--net=汇合\--name=动物园管理员\-e ZOOKEEPER_C ..
发布时间：2021-11-25 10:32:14 Java开发

如何在彼此独立的同一个盒子上运行多个 kafka 消费者?

我有两个 Kafka 消费者 ConsumerA 和 ConsumerB.我想在同一台机器上运行这两个相互独立的 kafka 消费者.他们之间根本没有任何关系.这两个 kafka 消费者将在同一台机器上处理不同的主题. 每个使用者都应该有一个不同的 Properties 对象. 每个使用者都应该有不同的线程池配置，因为它们可以在需要时独立于其他使用者以多线程方式(使用者组)运行. 以 ..
发布时间：2021-11-25 09:33:34 Java开发

当 EnableSslCertificateVerification 设置为 true (Confluent Kafka) 时 - 证书验证失败

我在 Windows 上运行我的客户端，我能够验证 CA 授权是否存在并且在受信任的根证书授权中有效. “Windows 上的开发":{“命令名称":“项目"，“环境变量":{“Kafka__BootstrapServers":“myloadbalancer.myhost.corp:9094"，“Kafka__EnableSslCertificateVerification":“真"，“Kafk ..
发布时间：2021-11-24 20:20:04 C#

当 EnableSslCertificateVerification 设置为 true (Confluent Kafka) 时 - 证书验证失败

我在 Windows 上运行我的客户端，我能够验证 CA 授权是否存在并且在受信任的根证书授权中有效. “Windows 上的开发":{“命令名称":“项目"，“环境变量":{“Kafka__BootstrapServers":“myloadbalancer.myhost.corp:9094"，“Kafka__EnableSslCertificateVerification":“真"，“Kafk ..
发布时间：2021-11-24 19:59:11 C#

连接到在 Docker 中运行的 Kafka

我在本地机器上设置了一个单节点的 Kafka Docker 容器，就像 Confluent 文档(步骤 2-3). 此外，我还公开了 Zookeeper 的 2181 端口和 Kafka 的 9092 端口，以便我能够从本地机器上运行的客户端连接到它们: $ docker run -d \-p 2181:2181 \--net=汇合\--name=动物园管理员\-e ZOOKEEPER_C ..
发布时间：2021-11-19 22:31:12 Java开发

在 kafka 事件驱动的主干中保持服务同步

假设我在系统设计中使用 Kafka 作为我所有微服务的事件驱动主干.许多微服务使用事件数据来填充其内部数据库.现在有一个需求，我需要创建一个新服务，它使用一些事件数据.该服务只能在它上线后才能使用事件，因此不会有很多丢失的数据.我想要一个策略，这样我就不必通过编写脚本来回填我的内部数据库. 我可以采用哪些不会给 Kafka & 带来巨大负载的很酷的策略?没有在我创建的新服务中使用大量脚本来回 ..
发布时间：2021-11-17 03:02:30 其他开发

使用 mqtt 协议和 kafka 作为消息代理

我们如何使用 mqtt 协议和 kafka 作为消息代理? 客户端(android/ios/desktop java 应用程序等)将使用 mqtt phao 客户端库生成和消费消息，这些客户端库使用 kafka 作为消息代理提供不同的语言版本. 有什么建议吗? 解决方案 您可以使用 Kafka 源连接器，它将数据从 Mosquitto 等 MQTT 代理流式传输到 Kafka ..
发布时间：2021-11-17 02:30:00 其他开发

Apache Kafka 是否适合用作无序任务队列?

Kafka 根据生产者分配的分区将传入的消息分成多个分区.来自分区的消息然后被不同消费者组中的消费者消费. 这种架构让我对使用 Kafka 作为工作/任务队列持谨慎态度，因为我必须在生产时指定分区，这间接限制了哪些消费者可以对其进行工作，因为一个分区只发送给一个消费者消费群体.我宁愿不提前指定分区，以便任何可以执行该任务的消费者都可以这样做.有没有一种方法可以在 Kafka 架构中构建分区/ ..
发布时间：2021-11-17 01:58:11 其他开发

MacOS M1 上的 Docker kafka 问题停留在配置上

我使用的是 macOS M1 Big Sur 11.2.3，但我的 kafka 无法正常运行，无法创建/列出主题.不知道是不是操作系统的原因，但是kafka的日志是这样的: docker-compose 日志 列出主题日志 这是我的 docker compose: 服务:动物园管理员:图片:wurstmeister/动物园管理员容器名称:动物园管理员主机名:zookeeper端 ..
发布时间：2021-11-16 20:33:35 其他开发

ActiveMQ vs Apollo vs Kafka

我以前没有任何使用 *MQ 的经验，我希望在一般情况下建立有关 JMS 和消息队列的知识.这样，我想知道我是应该从 ActiveMQ 开始还是完全“忽略"它并从自学 Apollo 开始.Apollo 和 ActiveMQ 一样功能齐全吗?它是否实现了 JMS 2.0(我看到 ActiveMQ 被 1.1 卡住了)?我会不会遗漏一些非常重要的东西? 另外，Kafka 与这两种解决方案相比如何? ..
发布时间：2021-11-15 22:04:31 其他开发

Zookeeper 错误:由于 java.io.IOException 导致会话 0x0 关闭的异常:Len 错误

我们有一个配置良好的zookeeper和kafka集群节点.创建主题并发送关于该主题的消息的手动测试成功通过.但是当我从测试设备运行测试以使用 MQTT 协议创建主题时，我收到: 由于 java.io.IOException 导致会话 0x0 关闭的异常:Len 错误 271056900[myid:1] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2 ..
发布时间：2021-11-15 00:07:54 其他开发

Kubernetes 服务与 kafka 无法按预期工作

我正在尝试在共享命名空间中将 zookeeper 和 kafka 设置为单独的 Kubernetes 部署/pod.我已经在我的 Ubuntu 沙箱上通过 kubeadm 用 Calico 引导了本地 K8s 1.8... 对于 Zookeeper，我使用了 hub.docker.com 中的图像 zookeeper:3.4，我创建了一个 Kubernetes 部署和服务，我在其中公开端口: ..
发布时间：2021-11-15 00:07:51 其他开发

Cloudera 上的 Kafka - test=TOPIC_AUTHORIZATION_FAILED

我们刚刚从 CDH 5.3.6 升级到 5.10.0，并且在尝试写入 Kafka 主题时开始出现错误.我们对一切都有默认设置，没有启用 SSL 或 Kerberos 身份验证.当使用控制台生产者写入我的主题之一时，我收到此错误: /usr/bin/kafka-console-producer --broker-list=myhost1.dev.com:9092,myhost2.dev.com ..
发布时间：2021-11-15 00:07:13 其他开发

Kafka 中的 Zoopekeeper 实例

我有 3 个安装了 Kafka 的节点.所有这 3 个节点都有自己的 zookeeper 实例.需要 3 个 zookeeper 实例还是 1 个 zookeeper 实例就足够了?我们是否应该有多个 Zookeeper 实例来实现容错?在这种情况下，其中一个实例会作为主实例，其他实例会是副本吗? 解决方案 我不确定“所有这 3 个节点都有自己的zookeeper 实例"是什么意思基本上你 ..
发布时间：2021-11-15 00:07:10 其他开发

ZooKeeper 在集群中的作用?

如果我有集群托管 1 个具有三个分区的主题.所以 ZooKeeper(ZK) 集群托管了 3 个代理实例. 根据我的理解， Producer 将与 ZooKeeper 交互以在 Broker 上发布消息. ZK 将根据每个代理实例的负载在内部决定它需要哪个分区发布消息.Broker 也会和 ZK 互动维护每个消费者实例的偏移量 同样，Consumer 将与 ZooKeeper 交互 ..
发布时间：2021-11-15 00:06:58 Java开发