confluent-platform相关内容

如何在团队之间共享Avro架构定义

Kafka模式注册中心提供了一种很好的方式来使用公共数据契约序列化和反序列化Kafka中的数据。但是，数据约定(.avsc文件)是生产者和消费者之间的粘合剂。 一旦生产者生成了.avsc文件，就可以将其签入到生产者端的版本控制中。根据语言的不同，它还会自动生成类。 但是， 使用者获取架构定义以供参考的最佳机制是什么？有没有类似swaggerHub或Avro的典型API文档门户？ 如 ..
发布时间：2022-04-27 18:30:29 其他开发

Kafka 接收器连接器:即使重启后也未分配任务

我在一组 Docker 容器中使用 Confluent 3.2，其中一个正在运行 kafka-connect worker. 由于我不清楚的原因，我的四个连接器中的两个 - 具体来说，hpgraphsl 的 MongoDB接收器连接器 - 停止工作.我能够确定主要问题:连接器没有分配任何任务，这可以通过调用 GET/connectors/{my_connector}/status 看到.其他 ..
发布时间：2021-11-28 21:38:53 其他开发

连接到在 Docker 中运行的 Kafka

我在本地机器上设置了一个单节点的 Kafka Docker 容器，就像 Confluent 文档(步骤 2-3). 此外，我还公开了 Zookeeper 的 2181 端口和 Kafka 的 9092 端口，以便我能够从本地机器上运行的客户端连接到它们: $ docker run -d \-p 2181:2181 \--net=汇合\--name=动物园管理员\-e ZOOKEEPER_C ..
发布时间：2021-11-25 10:32:14 Java开发

当 EnableSslCertificateVerification 设置为 true (Confluent Kafka) 时 - 证书验证失败

我在 Windows 上运行我的客户端，我能够验证 CA 授权是否存在并且在受信任的根证书授权中有效. “Windows 上的开发":{“命令名称":“项目"，“环境变量":{“Kafka__BootstrapServers":“myloadbalancer.myhost.corp:9094"，“Kafka__EnableSslCertificateVerification":“真"，“Kafk ..
发布时间：2021-11-24 20:20:04 C#

当 EnableSslCertificateVerification 设置为 true (Confluent Kafka) 时 - 证书验证失败

我在 Windows 上运行我的客户端，我能够验证 CA 授权是否存在并且在受信任的根证书授权中有效. “Windows 上的开发":{“命令名称":“项目"，“环境变量":{“Kafka__BootstrapServers":“myloadbalancer.myhost.corp:9094"，“Kafka__EnableSslCertificateVerification":“真"，“Kafk ..
发布时间：2021-11-24 19:59:11 C#

连接到在 Docker 中运行的 Kafka

我在本地机器上设置了一个单节点的 Kafka Docker 容器，就像 Confluent 文档(步骤 2-3). 此外，我还公开了 Zookeeper 的 2181 端口和 Kafka 的 9092 端口，以便我能够从本地机器上运行的客户端连接到它们: $ docker run -d \-p 2181:2181 \--net=汇合\--name=动物园管理员\-e ZOOKEEPER_C ..
发布时间：2021-11-19 22:31:12 Java开发

无法启动动物园管理员

我正在使用融合平台，zookeeper 处于活动状态并进行状态查找.但是当我尝试使用 confluent 启动 kafka 时，它显示 zookeeper 已关闭. $ sudo service zookeeper 状态重定向到/bin/systemctl status zookeeper.service● zookeeper.service - Zookeeper已加载:已加载(/etc/sy ..
发布时间：2021-11-14 23:59:48 其他开发

在 HDFS 上查找数据的 Kafka Streams

我正在使用 Kafka Streams (v0.10.0.1) 编写一个应用程序，并希望使用查找数据来丰富我正在处理的记录.这些数据(带时间戳的文件)每天(或每天 2-3 次)写入 HDFS 目录. 如何在 Kafka Streams 应用程序中加载它并加入实际的 KStream? 当新文件到达那里时，从 HDFS 重新读取数据的最佳做法是什么? 还是切换到 Kafka Connec ..
发布时间：2021-11-12 03:38:50 其他开发

是否可以从 kafka 消息中获取消息密钥的最新值

假设我对同一个消息键有不同的值. 例如: {用户名:1​​，电子邮件:user123@xyz.com }{用户名:1​​，电子邮件:user456@xyz.com }{用户名:1​​，电子邮件:user789@xyz.com } 在上述情况下，我只想要用户更新的最新值，即“user789@xyz.com". 我的 kafka 流应该只给我第三个值，而不是前两个值. 解决方案 ..
发布时间：2021-11-12 03:35:56 其他开发

Confluent 控制中心拦截器

如何将 Confluent Control Center Interceptor 添加到现有的 S3(Sink) Connector?监视接收器.我正在寻找文档.任何帮助表示赞赏. 解决方案 要绝对清楚，您的接收器上需要拦截器和源.如果不这样做，您将无法使用 Confluent Control Center 监控您的管道，就像现在一样. 要在 Kafka Connect 中启用拦截器 ..
发布时间：2021-11-12 03:32:36 其他开发

kafka-connect-jdbc:SQLException:仅在使用分布式模式时没有合适的驱动程序

我们已经成功地使用了 mySQL - 使用 jdbc 独立连接器的 kafka 数据摄取，但现在面临在分布式模式下使用相同的问题(作为 kafka 连接服务). connect-distributed.properties 文件- bootstrap.servers=IP1:9092,IP2:9092group.id=连接集群key.converter.schemas.enable=tru ..
发布时间：2021-11-12 03:32:31 数据库