Kafka 集群 - 生产者
我有几个关于 Kafka 的问题.如果有人可以通过回复其中之一来帮助我，我将不胜感激. 先谢谢你:) Q1) 我知道分区在 Kafka Broker 之间分开.但分裂是基于什么?.例如，如果我有 3 个代理和 6 个分区，如何确保每个代理将有 2 个分区?Kafka 目前是如何进行这种拆分的? Q2) 当生产者发送一条新消息时，消息的默认格式是什么?Avro 格式 ?例如，如何将
..
apache-kafka相关内容
Zookeeper 如何从 __consumer_offsets 主题中检索消费者偏移量?
这是“Zookeeper 在哪里做的后续问题存储Kafka集群和相关信息?"基于 Armando Ballaci 提供的答案. 现在很明显，消费者偏移量存储在 Kafka 集群中一个名为 __consumer_offsets 的特殊主题中.没关系，我只是想知道这些偏移量的检索是如何工作的. Topic 不像 RDBS，我们可以基于某个谓词查询任意数据.例如 - 如果数据存储在 RDBM
..
zookeeper 在哪里存放 kafka 集群和相关信息?
通过说集群信息，我指的是像 这样的信息 订阅的消费者/消费者群体 读取和提交的偏移量 分区的领导者和追随者 服务器上的主题等 zookeeper 是将这些信息保存在它自己的数据库中(尽管我从来没有听说过 Zookeeper 有任何自己的数据库)还是将这些信息存储在 Kafka 集群中的某些主题等? 编辑:以及后续问题:Zookeeper 如何从 __consumer_offs
..
无法使用 kafka 命令行将 json 推文事件发送到 Kafka 主题/生产者
我创建了一个 python 脚本 raw_tweets_stream.py 来使用 twitter api 流式传输 twitter 数据.使用以下脚本将来自 twitter 的 json 数据提取到 kafka 生产者. `python raw_tweets_stream.py |/usr/hdp/current/kafka-broker/bin/kafka-console-producer.
..
zookeeper + 无法从客户端会话 ID 中读取额外数据
我们有带有 3 台 kafka 机器和 3 个 zookeeper 服务器的 hadoop 集群 hadoop 版本 - 2.6.4 (HORTONWORKS) 在zookeeper日志(/var/log/zookper )下 我们看到了数百万条警告消息，例如: 2019-06-26 10:48:45,675 [myid:1] - WARN [NIOServerCxn.Fact
..
如何在 apache kafka 中获取所有主题?
@RequestMapping(value = "/getTopics",method = RequestMethod.GET)@ResponseBody公共响应 getAllTopics() {ZkClient zkClient = new ZkClient(ZookeeperProps.zookeeperURL, ZookeeperProps.connectionTimeoutMs,Zook
..
Kafka 代替 Zookeeper 进行集群管理
我正在编写一个基于 Kafka 的集群应用程序——它专门使用 Kafka 进行进程间通信和协调.我可以使用 Zookeeper 来管理我的集群——但是使用 Kafka 主题来管理集群并不是很困难.而且我想得越多，除了历史原因，似乎Kafka可以放弃Zookeeper，只使用基于主题的解决方案 例如，Kafka 中可能有一个或多个特殊主题，您可以在其中发布当前在 Zookeeper 中跟踪的所
..
系统找不到路径---Apache Kafka Zookeeper
当我想用命令行启动 Zookeeper-Server 时，我收到系统找不到路径的消息.昨天一切都很好，代码/路径是正确的.今天系统找不到路径. 这是我在 Windows 7 上以“管理员身份"打开的 cmd.exe 窗口的内容: C:\Users\KESSP2>cd 文档C:\Users\KESSP2\Documents>cd kafkaC:\Users\KESSP2\Documents\
..
为什么我无法连接到 Kafka/Zookeeper?(在 Docker 中)
我在 Mac(带 docker-machine)上的 Docker 中运行 Kafka (0.10.0.0).我从 Spotify 派生了我的 Dockerfile，这意味着 Kafka 和 Zookeeper 在同一个镜像中运行. 我的实例开始干净利落并在里面探查出现一切正常/正常. 在这种情况下，Docker 将端口 2181 和 9092 映射到高端口 32822 和 32820
..
Kafka 如何使用所需的偏移量提交消费者偏移量
我有 Kafka Stream 应用程序.我的应用程序正在成功处理事件. 如何使用所需的偏移量更改 Kafka 提交的消费者偏移量以重新处理/跳过事件.我尝试了如何更改主题的起始偏移量?.但我收到“节点不存在:"错误.请帮帮我. 解决方案 您所指的问题/答案基于较旧的 Kafka 版本.从 Kafka 0.9 开始，偏移量不再提交给 ZooKeeper，而是存储在一个名为 offse
..
Kafka 不启动空白输出
我正在努力安装 Kafa 和 Zookeeper. 我已经运行了 Zookeeper，它目前正在运行.我在 [https://dzone.com/中设置了所有内容文章/running-apache-kafka-on-windows-os] 当我终于在我的 cmd 中运行时， .\bin\windows\kafka-server-start.bat .\config\server.pr
..
Kafka Zookeeper 安全性
我使用的是 Kafka 版本 0.10.2.0.有没有办法通过 SSL 保护 Zookeper 客户端(即 ZkClient 和 zokeper 服务器之间的通信).我找到了一些通过 SASL 完成的方法，但我希望通过 SSL. 解决方案 Zookeeper 3.5 包含 SSL 支持，但它仍处于 alpha 阶段，因此 Kafka 尚不支持它.支持的最高版本为 3.4，仅包含 sas
..
Kafka 连接何时需要 ZooKeeper 配置?
Kafka 控制台使用者似乎要求您指定要连接的 ZooKeeper 实例: ./kafka-console-consumer.sh --zookeeper myzk.example.com:2181 --topic mytopic 但显然可以通过 Java API 直接连接到 Kafka 代理: public class KafkaClient {公共静态无效主(字符串 [] args){S
..
如何重置 Kafka 偏移量以匹配尾部位置?
我们将 Storm 与 Kafka 和 ZooKeeper 一起使用.我们遇到过必须删除一些主题并使用不同名称重新创建它们的情况.除了现在读取新主题名称之外，我们的 Kafka 喷口保持不变.但是现在，当尝试从新主题读取时，spout 正在使用旧主题分区的偏移量.因此，my-topic-name 分区 0 的尾部位置将为 500，但偏移量将类似于 10000. 有没有办法重置偏移位置，使其与
..
消费者和生产者因错误而失败:“在读取响应之前断开了与 0 的连接"
我有一个由 3 个 Kafka 代理组成的集群，所有主题的复制因子为 3.由于最近几天我面临这个问题，突然(一天几次)消费者和生产者在得到响应时卡住了，即使 Kafka 在所有 3 个服务器上运行，直到我检查代理日志(“连接到 0 已断开连接在响应被读取之前")并找出罪魁祸首节点为 0(在本例中为第一个节点)并在该节点上重新启动 zookeeper 和 broker. 根据日志，这是由于重新
..
一旦进入 Kubernetes/Minikube，Kafka 就无法访问
我需要在本地 Kubernetes 实例(使用 Minikube)中运行 Kafka，并使 Minikube VM 之外的客户端应用程序(发布者和订阅者)可以访问生成的 Kafka 服务. 我已经在 Minikube 中启动并运行了所有东西，但我想我犯了一个配置错误，因为我无法从外部访问 Kafka.我已经阅读了类似的问题并尝试了建议的解决方案，但没有一个为我解决了问题. 我已将我的
..
在 Kafka 集群中添加新的 ZooKeeper 节点?
我运行了一个包含五个节点的 Apache Kafka 集群，我正在使用一个包含三个节点的 Apache ZooKeeper 集群. 在zookeeper.properties文件中: server.1=zNode01:2888:3888server.2=zNode02:2888:3888server.3=zNode03:2888:3888 在 server.properties 文件中:
..
KeeperErrorCode = NoNode for/admin/preferred_replica_election
当我启动 kafka 时，zookeeper 发生错误. INFO 在处理 sessionid:0x156028651c00001 type:delete cxid:0x1b zxid:0x59 txntype:-1 reqpath:n/a 错误路径:/admin/preferred_replica_election Error:KeeperadminCode = NoNode 时得到用户级 K
..
多台服务器上的 Kafka
我关注了这个链接以安装 Kafka + Zookeeper.一切正常，但我正在 2 台服务器上设置 Kafka + Zookeeper. 我已经设置了kafka/config/server.properties: 服务器 1:broker.id = 0 服务器 1:zookeeper.connect = localhost:2181,99.99.99.91:2181 服务器 2:b
..
即使在 kafka 机器重新启动后，如何保留 kafka 保留字节和 kafka 保留段
我们为主题设置retention bytes值 - 104857600 - topic_test [root@confluent01 ~]# kafka-topics --zookeeper localhost:2181 --alter --topic topic_test --config reserved.bytes=104857600警告:从此脚本更改主题配置已被弃用，可能会在未来版本中删
..