confluent-platform相关内容
我想使用 Kakfa Connect 将 JSON 消息从 Kafka 移动到 HDFS，然后是 Impala，仅使用开源库. 我试图了解是否可以将 Confluent Sink 库用于 Kakfa Connect，而无需使用整个 Confluent 发行版. 是否有其他和/或更好的选择来实现这一目标? 解决方案 Kafka Connect HDFS 2 Sink 在 Conf
..
根据文档，接收器连接器确保 Exactly-Once-Delivery. 在连接器任务线程失败的情况下如何确保Exact-Once-Delivery? 它是否删除了失败的任务线程创建的文件?还是将损坏的/部分文件留在 HDFS 中? 连接器使用预写日志来确保每条记录只写入一次 HDFS.此外，连接器通过将 Kafka 偏移信息编码到 HDFS 文件中来管理偏移，以便在出现故障和任
..
我们已经成功地使用了 mySQL - 使用 jdbc 独立连接器的 kafka 数据摄取，但现在面临在分布式模式下使用相同的问题(作为 kafka 连接服务). connect-distributed.properties 文件- bootstrap.servers=IP1:9092,IP2:9092group.id=连接集群key.converter.schemas.enable=tru
..
我们有一个运行代理版本 Apache Kafka 0.11 的“Kerberized Kafka 集群".该集群由不同的团队管理，我们对此没有任何控制权. 我们现在正在尝试在我们自己的 K8S 集群上安装 Kafka Connect 集群. 我们遵循这个兼容性矩阵 https://docs.confluent.io/current/installation/versions-inter
..
我正在尝试将数据从 kafka 中的主题插入 postgres 数据库.我正在使用以下命令加载 ./bin/connect-standalone etc/schema-registry/connect-avro-standalone.properties etc/kafka-connect-jdbc/sink-quickstart-mysql.properties sink-quickstar
..
我们使用的是 apache kafka 2.7 版本，在此之前我们使用的是 confluent-platform 版本的 kafka，我们可以在其中访问控制中心来查看传入/传出数据速率、磁盘空间等指标等统计数据. 现在我们使用的是apache kafka，需要在控制中心查看同类型的统计数据 有可能吗……? 如果可能，谁能告诉我如何执行这些操作? 解决方案 您仍然需要下载
..
我有一些带有 stringA stringB 字段的主题数据，我只是想在从主题创建 KSQL 表时将其用作键. 解决方案 只是对@Robin Moffat 的更新..使用下面的 CREATE STREAM TEST_REKEY AS选择 STRINGA + STRINGB 作为 MY_COMPOSITE_KEY，斯特林加，字符串，COL3来自测试按 STRINGA + STRINGB 分
..
我正在尝试使用此处给出的示例在 docker for windows(工具箱)上运行一个最低限度的融合社区示例: https://docs.confluent.io/current/quickstart/cos-docker-quickstart.html 但似乎所有组件都启动了只有连接失败了它们不起作用， 这是我的 docker-compose.yml 版本:'2'服务:动
..
我正在使用 Conluent Platform/Kafka Connect 和类似的东西，我想运行几个例子. 我从这里关注了快速入门.这意味着: 安装 Confluent Platform (v3.2.1) 运行 Zookeeper、Kafka Broker 和 Schema Register 运行读取文件数据的示例(witk Kafka Connect) 我运行了这个命令(
..
以 JSON 格式从 Kafka 生产/消费.使用以下属性以 JSON 格式保存到 HDFS: key.converter=org.apache.kafka.connect.json.JsonConvertervalue.converter=org.apache.kafka.connect.json.JsonConverterkey.converter.schemas.enable=falsev
..
我想通过 jdbc sink 批量读取 5000 条记录，为此我使用了 jdbc sink 配置文件中的 batch.size: name=jdbc-sinkconnector.class=io.confluent.connect.jdbc.JdbcSinkConnector任务.max=1批量大小=5000主题=postgres_usersconnection.url=jdbc:postgre
..
我有一个最终会有很多不同模式的主题.现在它只有一个.我已经通过 REST 创建了一个连接作业，如下所示: {"name":"com.mycompany.sinks.GcsSinkConnector-auth2",“配置":{"connector.class": "com.mycompany.sinks.GcsSinkConnector","topics": "auth.events","flus
..
connect-standalone.properties connector.class=io.confluent.connect.jdbc.JdbcSourceConnectorbootstrap.servers=10.33.62.20:9092,10.33.62.110:9092,10.33.62.200:9092key.converter=org.apache.kafka.connect
..
我正在尝试为 Google Cloud PubSub 服务配置 Sink Kafka Connect. 使用以下命令配置Kafka Connect: 卷曲-X POST-H '内容类型:应用程序/json'-H '接受:应用程序/json' -d '{ "name": "pubsub_test","config": { "connector.class": "com.google.pubs
..
我试图在 sqlite 中建立一个包含两个表的数据库.我的一个表有一个时间戳列.我正在尝试实施时间戳模式来捕获数据库中的增量更改.Kafka 连接失败并出现以下错误: 错误无法使用 Sqlite 从数据库获取当前时间并查询“SELECT"CURRENT_TIMESTAMP'(io.confluent.connect.jdbc.dialect.SqliteDatabaseDialect:471)
..
我在此链接中遵循第 7 步(使用 Kafka Connect 导入/导出数据): http://kafka.apache.org/documentation.html#quickstart 它运行良好，直到我删除了“test.txt"文件.主要是因为这就是 log4j 文件的工作方式.一段时间后，文件将被旋转 - 我的意思是 - 它将被重命名 &将开始写入具有相同名称的新文件.
..
我想将 Kafka 主题中的数据保留在我的数据湖中. 在担心密钥之前，我能够使用 HdfsSinkConnector 将 Avro 值保存在数据湖上的文件中.每个文件中消息值的数量由 HdfsSinkConnector 的“flush.size"属性决定. 一切都很好.接下来，我也想保留密钥.为此，我使用了 kafka-connect-transform-archive，它将 Stri
..
我已经分叉了 Confluent 的 Kafka Connect HDFS 编写器，现在我想要将此 jar 的一个版本部署到我的本地 Nexus. mvn clean deploy 像魅力一样工作并部署 jar. https://[nexus]/repository/releases/io/confluent/kafka-connect-hdfs/5.0.0/kafka-connect
..
我设置了一个融合的 s3 接收器连接，它将 .avro 文件存储在 s3 中. 我转储这些文件，发现它们只是消息本身，我不知道在哪里可以找到消息密钥，知道吗? 配置如下: {"name": "s3-sink-test",“配置":{"connector.class": "io.confluent.connect.s3.S3SinkConnector","tasks.max": "1","
..
我一直在使用 KSQL，到目前为止效果很好.但是现在我想通过 Kafka Connect 将输出下沉到 BigQuery，并且需要附加一个 JSON 模式.我很难弄清楚如何做到这一点.这是我的查询: CREATE STREAM tweets_original (创建于 BIGINT，标识 BIGINT，文本 VARCHAR，源 VARCHAR，地理位置 VARCHAR，用户 STRUCT)WIT
..
