kafka-producer-api相关内容

Kafka - 消息排序保证

我遇到了两个关于排序的短语, 生产者发送到特定主题分区的消息将是按发送顺序附加.也就是说,如果发送一条记录 M1由与记录 M2 相同的生产者,首先发送 M1,然后发送 M1将具有比 M2 更低的偏移量,并在日志中更早出现. 另一个 (config param) max.in.flight.requests.per.connection - 最大数量客户端将在单个连接上发送的未确认 ..
发布时间:2021-11-12 01:50:07 其他开发

使用 Kerberos 从 Windows 连接到 Unix 上的 Kafka

我对卡夫卡很陌生,所以请多多包涵.这是我的设置.我在 unix 机器上托管了 kafka.集群.在域中说 B.客户端在 Windows 上.我正在尝试使用域 A 连接到托管在 B 上的 kafka.我有密钥表.和 krb5.这两个都是在envt中设置的.krb5.ini(并设置为envt变量KRB5_CONFIG) [记录]默认值 = 控制台admin_server = 控制台kdc = 控制 ..
发布时间:2021-11-12 01:50:04 其他开发

Kafka:如何连接 kafka-console-consumer 以获取远程代理主题内容?

我在 ec2 上的一台机器上设置了一个 kafka zookeeper 和 3 个代理,端口为 9092..9094,我正在尝试使用另一台机器上的主题内容.端口 2181 (zk)、9092、9093 和 9094(服务器)对消费者机器开放.我什至可以做一个 bin/kafka-topics.sh --describe --zookeeper 172.X.X.X:2181 --topic remo ..

Kafka生产者回调异常

当我们生成消息时,我们可以定义一个回调,这个回调可能会出现异常: kafkaProducer.send(producerRecord, new Callback() {public void onCompletion(RecordMetadata recordMetadata, Exception e) {如果(e == null){//好的} 别的 {//不好}}}); 考虑到生产者内置的重 ..
发布时间:2021-11-12 01:43:17 其他开发

如何在 kafka 中创建自定义序列化程序?

只有很少的序列化程序可用,例如 org.apache.kafka.common.serialization.StringSerializer 我们如何创建自己的自定义序列化程序? 解决方案 这里有一个示例,可以将您自己的序列化器/反序列化器用于 Kafka 消息值.对于 Kafka 消息密钥是一样的. 我们希望将 MyMessage 的序列化版本作为 Kafka 值发送,并再次将 ..
发布时间:2021-11-12 01:41:38 Java开发

了解 Kafka 主题和分区

我开始学习Kafka,在阅读的过程中,我想到了一些问题: 当生产者生成消息时 - 它会指定要将消息发送到的主题,对吗?它关心分区吗? 当订阅者正在运行时 - 它是否指定了它的组 ID,以便它可以成为同一主题或该组消费者感兴趣的多个主题的一组消费者的一部分? 每个消费者组在broker上有对应的分区还是每个消费者都有一个分区? 分区是否由代理创建,因此消费者不关心? 既 ..
发布时间:2021-11-12 01:40:35 其他开发

为什么骆驼 kafka 生产者很慢?

我使用 apache camel kafka 作为客户端来生成消息,我观察到 kafka 生成器需要 1 毫秒来推送消息,如果我使用骆驼聚合将消息合并到批处理中,那么推送一条消息需要 100 毫秒. 安装简述3 卡夫卡集群 16 核 32GB 内存 示例代码 String endpoint="kafka:test?topic=test&brokers=nodekfa:9092,no ..
发布时间:2021-11-11 23:06:13 其他开发

设计 Kafka 主题 - 许多主题与一个大主题

考虑到一系列不同的事件,推荐的方法是 一个包含所有事件的大主题 针对不同类型活动的多个主题 哪个选项会更好? 我了解消息不在主题的同一分区中,这意味着没有顺序保证,但是在进行此操作时是否有任何其他要考虑的因素决定? 解决方案 主题是一个逻辑抽象,应该包含相同类型的消息.假设您监控网站并捕获点击流事件,另一方面,您有一个数据库将其更改填充到更改日志主题中.您应该有两个不同 ..

在Kaka Producer中配置重试的最佳方法

将同步副本配置为 Acks = all 和 min.insync.replicas = N , 想了解应如何为未处理的生产者记录的消息/记录配置重试 示例:当Kafka在处理过程中无法通过ISR在线处理记录时,记录为N-1个,而最低配置的ISR为N个副本. 解决方案 什么是 acks ? acks参数控制在生产者认为写入成功之前必须有多少个分区副本接收记录. acks参 ..
发布时间:2021-05-28 18:58:37 其他开发

Kafka模板和kafka生产者之间有什么区别?

正如我所见,Kafka模板内部使用了Kafka生产者.我只想知道确切的区别是什么.此外,与Kafka生产者相比,我在Kafka模板中发现了许多send()方法. 请帮我.如果有人知道更多. 解决方案 生产者是模式,而KafkaTemplate包装了Producer实例,并提供了将消息发送到Kafka主题的便捷方法.(源) Kafka 生产者是在Apache Kafka中定义的. K ..