confluent-platform相关内容
我们已经成功地使用了 mySQL - 使用 jdbc 独立连接器的 kafka 数据摄取，但现在面临在分布式模式下使用相同的问题(作为 kafka 连接服务). connect-distributed.properties 文件- bootstrap.servers=IP1:9092,IP2:9092group.id=连接集群key.converter.schemas.enable=tru
..
我们使用的是 apache kafka 2.7 版本，在此之前我们使用的是 confluent-platform 版本的 kafka，我们可以在其中访问控制中心来查看传入/传出数据速率、磁盘空间等指标等统计数据. 现在我们使用的是apache kafka，需要在控制中心查看同类型的统计数据 有可能吗……? 如果可能，谁能告诉我如何执行这些操作? 解决方案 您仍然需要下载
..
根据文档，接收器连接器确保 Exactly-Once-Delivery. 在连接器任务线程失败的情况下如何确保Exact-Once-Delivery? 它是否删除了失败的任务线程创建的文件?还是将损坏的/部分文件留在 HDFS 中? 连接器使用预写日志来确保每条记录只写入一次 HDFS.此外，连接器通过将 Kafka 偏移信息编码到 HDFS 文件中来管理偏移，以便在出现故障和任
..
我正在使用 Conluent Platform/Kafka Connect 和类似的东西，我想运行几个例子. 我从这里关注了快速入门.这意味着: 安装 Confluent Platform (v3.2.1) 运行 Zookeeper、Kafka Broker 和 Schema Register 运行读取文件数据的示例(witk Kafka Connect) 我运行了这个命令(
..
以 JSON 格式从 Kafka 生产/消费.使用以下属性以 JSON 格式保存到 HDFS: key.converter=org.apache.kafka.connect.json.JsonConvertervalue.converter=org.apache.kafka.connect.json.JsonConverterkey.converter.schemas.enable=falsev
..
我想通过 jdbc sink 批量读取 5000 条记录，为此我使用了 jdbc sink 配置文件中的 batch.size: name=jdbc-sinkconnector.class=io.confluent.connect.jdbc.JdbcSinkConnector任务.max=1批量大小=5000主题=postgres_usersconnection.url=jdbc:postgre
..
我已经部署了https://github.com/confluentinc/cp-helm-charts/tree/master/charts/cp-kafka 在我的本地 k8s 集群上.我正在尝试使用带有 nginx 的 TCP 控制器来公开它. 我的 TCP nginx 配置映射看起来像 数据:“":/cp-zookeeper:218
..
我正在尝试使用 Docker Compose 在一个示例中运行 Confluent 平台.将其与单个节点一起使用的示例如下: http://docs.confluent.io/3.1.1/cp-docker-images/docs/quickstart.html#getting-started-with-docker-compose 包含所有 Docker 镜像的 git 存储库也有大
..
我有一个最终会有很多不同模式的主题.现在它只有一个.我已经通过 REST 创建了一个连接作业，如下所示: {"name":"com.mycompany.sinks.GcsSinkConnector-auth2",“配置":{"connector.class": "com.mycompany.sinks.GcsSinkConnector","topics": "auth.events","flus
..
我正在尝试为 Google Cloud PubSub 服务配置 Sink Kafka Connect. 使用以下命令配置Kafka Connect: 卷曲-X POST-H '内容类型:应用程序/json'-H '接受:应用程序/json' -d '{ "name": "pubsub_test","config": { "connector.class": "com.google.pubs
..
connect-standalone.properties connector.class=io.confluent.connect.jdbc.JdbcSourceConnectorbootstrap.servers=10.33.62.20:9092,10.33.62.110:9092,10.33.62.200:9092key.converter=org.apache.kafka.connect
..
我试图在 sqlite 中建立一个包含两个表的数据库.我的一个表有一个时间戳列.我正在尝试实施时间戳模式来捕获数据库中的增量更改.Kafka 连接失败并出现以下错误: 错误无法使用 Sqlite 从数据库获取当前时间并查询“SELECT"CURRENT_TIMESTAMP'(io.confluent.connect.jdbc.dialect.SqliteDatabaseDialect:471)
..
Confluent Kafka 5.0.0 已安装在具有公共 IP 的 AWS EC2 上，例如 54.XX.XX.XX使用 0.0.0.0 在 EC2 机器上打开端口 9092 在/etc/kafka/server.properties 我有 advertised.listeners=PLAINTEXT://54.XX.XX.XX:9092听众=PLAINTEXT://0.0.0.0:9
..
我有一个 kafka 主题，主题中的每条消息都有经纬度和事件时间戳.创建了一个引用主题的流，并想使用 geo_distance 计算两点之间的距离.例子 GpsDateTime lat lon2016-11-30 22:38:36, 32.685757, -96.7359422016-11-30 22:39:07、32.687347、-96.7328412016-11-30 22:39:37,
..
我有一个最终会有很多不同模式的主题.现在它只有一个.我已经通过 REST 创建了一个连接作业，如下所示: {"name":"com.mycompany.sinks.GcsSinkConnector-auth2",“配置":{"connector.class": "com.mycompany.sinks.GcsSinkConnector","topics": "auth.events","flus
..
我通过 Confluent 平台运行 Kafka.我已按照此处记录的步骤操作，https://docs.confluent.io/2.0.0/quickstart.html#quickstart 启动zookeeper， $ sudo ./bin/zookeeper-server-start ./etc/kafka/zookeeper.properties 启动卡夫卡， $ sudo
..
我们目前在 Apache Kafka 0.10.1.1 上运行.我们正在迁移到 Confluent Platform 5.X.新集群完全设置在不同的物理节点集上. 虽然我们已经在努力升级 API，但我们的应用程序使用 spring-boot，我们正试图弄清楚我们如何迁移消息?我需要在目标集群中保持相同的消息顺序. 我可以简单地复制消息吗? 是否需要将消息重新发布到 Target 集群
..
我想通过 jdbc sink 批量读取 5000 条记录，为此我使用了 jdbc sink 配置文件中的 batch.size: name=jdbc-sinkconnector.class=io.confluent.connect.jdbc.JdbcSinkConnector任务.max=1批量大小=5000主题=postgres_usersconnection.url=jdbc:postgre
..
我正在尝试加入一个表和一个流并创建另一个表，如下所示: CREATE TABLE table_fx_latest AS选择 t1.currencyid,t1.maxtimestamp，t2.midpriceFROM stream_fx2 t2 LEFT JOIN table_fx_latest3 t1ON t1.currencyid = t2.currencyid ANDt1.timestamp
..
尝试使用 confluent_kafka.AvroConsumer 来消费来自给定时间戳的消息. if 标志:# 创建一个列表topic_partitions_to_search = 列表(map(lambda p: TopicPartition('my_topic2', p, int(time.time())), range(0, 1)))print("用 %s 搜索偏移量" % topic_
..
