Kafka-经纪人经纪人
我从 https://niqdev.github.io/devops/kafka/ 和 https：/ /livebook.manning.com/book/kafka-streams-in-action/chapter-2/109 （“ Kafka Streams in Action”） 控制器代理负责为主题的所有分区建立领导者/从属者关系。如果Kafka节点死亡或无响应（对ZooKee
..
confluent-platform相关内容
当EnableSslCertificateVerification设置为true时（Confluent Kafka）-证书验证失败
我正在Windows上运行客户端，并且能够验证CA授权是否存在并且在受信任的根证书授权中是否有效。 ” ; Windows上的Dev“：{ ” commandName“：” Project“， ” environmentVariables“：{ ” Kafka__BootstrapServers“：” myloadbalancer.myhost.corp： 9094”， “ Kafka__E
..
Ksql尚未开始。 ksql-server-start：32：exec：// bin / ksql-run-class：找不到
我无法启动ksql。其提供以下错误， ksql-server-start：14：错误替换 ksql-server-start：32：exec：/ / bin / ksql-run-class：找不到 zookeeper和kafka服务器已成功启动 任何建议都会有所帮助 解决方案 找到了解决问题的方法， ksql-server-start
..
Kafka-未压缩主题与压缩主题
我从“精通Kafka流和ksqlDB”一书中发现了以下两个短语：并且作者使用了两个术语，它们实际上是什么意思？和“未压缩的主题” 与“日志压缩”相关吗？ ？ 表可以看作是数据库的更新。在此日志视图中，仅保留每个密钥的当前状态（给定密钥的最新记录或某种聚合）。表通常是由紧凑主题构建的。 流可以看作是数据库中的插入用语。每个不同的记录都保留在日志的此视图中。流通常是根据紧凑主题构建的
..
KSQL流-从结构数组获取数据
我的JSON如下： { “ Obj1”：{ “ a”： “ abc”， “ b”：“ def”， “ c”：“ ghi” }， “ ArrayObj”：[ { “ key1”：“ 1”， “ Key2”：“ 2”， “ Key3”：“ 3”， }， { “ key1”：“ 4”， “ Key2”：“ 5”， “ Key3”：“ 6”， }， { “ key1”：“ 7”，
..
Kafka Avro Deserializer无法将Kafka消息反序列化为特定的Avro记录
我正在尝试将kafka中的Avro消息反序列化为从Avro Schema生成的POJO.我正在使用KafkaAvroDeserializer进行此转换. 我能够看到从kafka返回的ConsumerRecord记录中的GenericRecord.但是，当我尝试将此记录分配给生成的POJO类对象时，对于带有ClassCastException的POJO字段的date
..
连接Confluent Kafka和InfluxDB时发生NullPointerException
我正在尝试使用Confluent InfluxDB Sink连接器将数据从kafka主题获取到我的InfluxDB中. 首先，我使用nifi将数据从日志文件传输到kafka主题，并且效果很好. kafka主题获取数据，如下所示: { "topic": "testDB5", "key": null, "value": { "timestamp":
..
将JSON模式附加到KSQL流记录
我一直在使用KSQL，到目前为止，它一直运行良好.但是现在我想通过Kafka Connect将输出下沉到BigQuery，并需要附加一个JSON模式.我在弄清楚如何做到这一点时遇到了麻烦.这是我的查询: CREATE STREAM tweets_original ( CreatedAt BIGINT, Id BIGINT, Text VARCHAR,
..
使用kafka-connect从多个主题升级到多个表
我正在尝试使用JDBC接收器连接器读取2个kafka主题，并向上插入2个我手动创建的Oracle表中.每个表都有1个主键，我想在upsert模式下使用它.如果我仅用于1个主题，并且在pk.fields中仅使用1个字段，则连接器工作正常，但如果在pk.fields中从每个表中输入多个列，则它无法识别该模式.我有什么想念的吗? name=oracle_sink_prod connector.cl
..
Kafka JDBC Sink连接器为具有架构(具有可选字段)的消息提供了空指针异常
Kafka JDBC接收器连接器为带有架构的消息提供了一个空指针异常，该架构的可选字段为'parentId'.我错过了什么吗?我正在使用开箱即用的JSONConverter和JDBC Sink Connector 关于Kafka主题的消息是 { "schema":{ "type":"struct", "fields":[ { "field":"id",
..
将连接器与安装了Helm的Kafka/Confluent一起使用
我已通过使用Helm图表在本地Minikube上安装了Kafka https://github.com/confluentinc/cp-helm-charts 遵循以下说明 https://docs.confluent.io/current/installation/installing_cp/cp-helm-charts/docs/index.html 像这样: helm install
..
Kafka到hdfs3接收器缺少必需的配置"confluent.topic.bootstrap.servers"；没有默认值
状态 我的HDFS是通过ambari，HDP安装的. 我目前正在尝试将kafka主题加载到HDFS接收器中. Kafka和HDFS安装在同一台机器x.x.x.x中. 除了默认端口根据我的需要外，我没有对默认设置进行太多更改. 这是我执行kafka的方式: /usr/hdp/3.1.4.0-315/kafka/bin/connect-standalone.sh /etc/kafka
..
Kafka依赖关系-CCS与CE
要开发我的Kafka连接器，我需要添加一个connect-API依赖项. 我应该使用哪个? 例如mongodb连接器使用来自 maven中心 的connect-api 但是开发指南中的链接转到 https://packages.confluent.io/maven/org/apache/kafka/connect-api/5.5.0-ccs/，在5.5.0-ccs旁边还有5.5.0
..
有没有一种方法可以使用Kafka Confluent REST API生成带有标头的Kafka消息?
我正在尝试使用一些自定义标头将消息发送到Kafka，但我找不到解决方法.根据文档，POST /topics/(string: topic_name) API无法将自定义标头附加到邮件. 有人知道通过融合的Kafka REST API发送带有自定义标头的Kafka消息的方法吗? 这是我发送给REST代理的示例请求正文 POST /topics/stream.mycustomtopi
..
用于API的Kafka命令生成消息，创建使用者组，订阅使用者组并读取记录
我正在使用以下命令来生成和创建消费者组，面临着未创建消费者组的问题.你能帮忙吗?. kafka-producer-perf-test --topic test-one --throughput 1000 --record-size 50 --num-records 10 --producer-props bootstrap.servers='localhost:9092' --produce
..
适用于AVRO基本类型的Serde类
我正在用Java编写一个Kafka流应用程序，该应用程序将接受由连接器创建的输入主题，该连接器将模式注册表和avro用于键和值转换器.连接器产生以下架构: key-schema: "int" value-schema:{ "type": "record", "name": "User", "fields": [ {"name": "firstname", "type": "strin
..
ksqlDB没有正确使用rowkey
我在 json 中针对名为SENSOR_STATUS_DETAILS的主题生成了以下数据： 1001 { “ sensorid”：1001， “ status”：“ CONNECTED”， “ lastconnectedtime”：“ 2020-05-31 22:31:54” } 1002 { “ sensorid”：1002， “ status”：“ CONNECTED”，
..
即使REST程序具有INT，Kafka仍将消息密钥生成为STRING？
我正在使用以下程序在kafka中生成记录： import java.io.IOException; import java.security.SecureRandom; 公共类SensorStatusProducer { private final static String TOPIC =“ SENSOR_STATUS_DETAILS”; private final st
..
在Confluent KSQL查询中可以使用多个左联接吗？试图加入超过1个表的流，如果没有，那么解决方案是什么？
Stream： 描述ammas； 字段|键入 ------------------------------------- ROWTIME | BIGINT（系统） ROWKEY | VARCHAR（STRING）（系统） ID |整数 ------------------------------------- 运行时统计信息和查询详细信息，请运行： DES
..
kafka connect-jdbc接收器sql异常
我正在使用融合社区版进行简单的设置，其中包括调用Kafka rest代理的rest客户端，然后使用提供的jdbc接收器连接器将数据推送到oracle数据库中。 我注意到，如果存在一个sql异常（例如，如果实际数据的长度大于实际数据的长度（已定义列的长度）），则任务停止，并且如果我这样做重新启动它，尝试插入错误的条目并停止它。它不会插入其他条目。 不是一种可以记录错误条目并让任务继续插入
..