apache-kafka-connect相关内容

停止kafka连接器

在 kafka connect SinkTask 实现中，如果出现不可避免的异常，如果我从我的代码中调用 stop() 方法，连接器是否完全停止? 解决方案 只有遇到异常的任务才会停止 连接集群可以有多个不会停止的连接器，单个连接可以有其他任务，具体取决于您的配置，例如，分配不同的、干净的、可以处理的数据 ..
发布时间：2021-11-12 03:32:20 其他开发

Kafka 流 - 第一个示例 WordCount 未正确计算第一圈

我正在研究 Kafka Streams，但我对 Java 8 中 WordCount 的第一个示例有疑问，该示例取自文档. 使用最新版本的 kafka 流、Kafka Connect 和 WordCount lambda 表达式示例. 我遵循以下步骤:我在 Kafka 中创建了一个输入主题和一个输出主题.启动应用程序流，然后通过从 .txt 文件中插入一些单词来上传输入主题 在第 ..
发布时间：2021-11-12 03:32:16 其他开发

从 Postgres 表到带有更新跟踪的 KSQL 表

我的任务是将数据从 Postgres 表传输到 KSQL 表(以便将来与流连接).假设表有三条记录: id |姓名 |描述-------------------------1 |姓名1 |说明12 |姓名2 |说明23 |姓名3 |描述3 借助 Kafka JdbcSourceConnector 很容易做到.但是有一个小问题——表中的数据可能会发生变化.更改也必须在 KTable 中. ..
发布时间：2021-11-12 03:32:08 其他开发

debezium - 架构注册表问题

我正在为 debezium 使用 AWS 架构注册表. 在 debezium 中，我提到服务器名称为 mysql-db01.因此，debezium 将使用此服务器名称创建一个主题，以添加一些有关服务器和架构更改的元数据. 当我部署连接器时，在架构注册表中我得到了这样的架构. {“类型":“记录"，“名称":“SchemaChangeKey"，“命名空间":“io.debezium.c ..
发布时间：2021-11-12 03:31:56 其他开发

Kafka Connector - 分布式 - 负载均衡任务

我正在运行 Confluent Kafka 的开发环境，Windows 上的社区版，版本 3.0.1-2.11.我正在尝试在 2 个连接器实例之间实现任务的负载平衡.我在同一台机器上运行 Kafka Zookepper、服务器、REST 服务和 2 个 Connect 实例.连接器的属性文件之间的唯一区别是其余端口，因为它们在同一台机器上运行.我不会为连接器偏移、配置、状态创建主题.我是不是该?我 ..
发布时间：2021-11-12 03:31:54 其他开发

需要使用 Kakfa Connect 将小型 JSON 消息从 Kafka 移动到 HDFS，但不使用 Confluent 库(如果不是完全免费)

我想使用 Kakfa Connect 将 JSON 消息从 Kafka 移动到 HDFS，然后是 Impala，仅使用开源库. 我试图了解是否可以将 Confluent Sink 库用于 Kakfa Connect，而无需使用整个 Confluent 发行版. 是否有其他和/或更好的选择来实现这一目标? 解决方案 Kafka Connect HDFS 2 Sink 在 Conf ..
发布时间：2021-11-12 03:31:51 其他开发

具有自定义分区器奇怪行为的 Kafka Connect S3 接收器连接器

我计划使用自定义 Field 和 TimeBased 分区器在 s3 中对我的数据进行分区，如下所示:/part_=/part_date=YYYY-MM-dd/part_hour=HH/....实木复合地板. 我的分区器工作正常，我的 S3 存储桶中的一切都符合预期. 该问题与接收器的性能有关 我的输入主题中有 400kB/s/broker = ~1.2MB/s，接收器处理峰值并提交 ..
发布时间：2021-11-12 03:31:42 Java开发

HdfsSink3Connector 可以创建重复项吗?

根据文档，接收器连接器确保 Exactly-Once-Delivery. 在连接器任务线程失败的情况下如何确保Exact-Once-Delivery? 它是否删除了失败的任务线程创建的文件?还是将损坏的/部分文件留在 HDFS 中? 连接器使用预写日志来确保每条记录只写入一次 HDFS.此外，连接器通过将 Kafka 偏移信息编码到 HDFS 文件中来管理偏移，以便在出现故障和任 ..
发布时间：2021-11-12 03:31:36 其他开发

Kafka - 无法找到有效的认证路径

我正在为 apache kafka 使用 docker 环境. 我将整个环境配置为使用 SSL，到目前为止，一切都很好...当我运行 docker-compose 时，一切正常，没有错误. 问题是当我向连接容器发送 POST 以创建与 MySQL 的连接并在 Kafka 的主题内进行复制时. 我收到一条关于 SSL 的错误消息，但我不明白什么是错误，因为这只会在我为 MySQL ..
发布时间：2021-11-12 03:31:33 其他开发

kafka-connect-jdbc:SQLException:仅在使用分布式模式时没有合适的驱动程序

我们已经成功地使用了 mySQL - 使用 jdbc 独立连接器的 kafka 数据摄取，但现在面临在分布式模式下使用相同的问题(作为 kafka 连接服务). connect-distributed.properties 文件- bootstrap.servers=IP1:9092,IP2:9092group.id=连接集群key.converter.schemas.enable=tru ..
发布时间：2021-11-12 03:31:27 数据库

Kafka Connect SMT 添加 Kafka 标头字段

我需要找到或编写一个将向请求添加标头字段的 SMT.请求缺少一些类型字段，我想添加它们. 您究竟如何在 SMT 中添加标题，我所看到的只是如下所示的记录转换，但如果我想更改标题或向其中添加字段怎么办? 私有 R applySchemaless(R record) {最终映射value = requireMap(operatingValue(record), 目的);//record.he ..
发布时间：2021-11-12 03:31:24 其他开发