Flink Kafka - 自定义类数据始终为空
自定义类 人 class Person{私有整数 ID；私人字符串名称；//getter 和 setter} Kafka Flink 连接器 TypeInformationinfo = TypeInformation.of(Person.class);TypeInformationSerializationSchema schema = new TypeInformationSeria
..
apache-flink相关内容
Apache Flink 从 Kafka 读取 Avro byte[]
在回顾示例时，我看到了很多这样的内容: FlinkKafkaConsumer08kafkaConsumer = new FlinkKafkaConsumer08("myavrotopic", avroSchema, properties); 我看到他们在这里已经知道架构. 在将 byte[] 读入通用记录之前，我不知道架构然后获取架构.(因为它可能会因记录而异) 有人可以将我指向从
..
Flink 与 Kafka Consumer 不起作用
我想对 Spark 与 Flink 进行基准测试，为此我做了几个测试.但是 Flink 不适用于 Kafka，同时使用 Spark 工作完美. 代码很简单: val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironmentval 属性 = 新属性()properties.setP
..
Flink on Yarn，与 Kafka 并行源
我试图在我的 Flink 工作中与我的 Kafka 源进行并行处理，但到目前为止我失败了. 我为我的 Kafka 制作人设置了 4 个分区: $ ./bin/kafka-topics.sh --describe --zookeeper X.X.X.X:2181 --topic mytopic主题:mytopic PartitionCount:4 ReplicationFactor:1 配置
..
无法使用 Flink siddhi 库处理 kafka json 消息
我正在尝试创建一个简单的应用程序，该应用程序将使用 Kafka 消息进行一些 cql 转换并发布到 Kafka，以下是代码: Java:1.8弗林克:1.13斯卡拉:2.11flink-siddhi: 2.11-0.2.2-SNAPSHOT 我正在使用库:https://github.com/haoch/flink-siddhi 向Kafka输入json: {“awsS3":{
..
如何在Kafka和Flink环境下测试性能?
如何以 kafka 作为输入源对 Flink 进行性能测试.另外，请推荐是否有适用于这种情况的性能测试工具. 解决方案 Flink 包括吞吐量(numRecordsInPerSecond 和 numRecordsOutPerSecond)和 延迟. 如果您想更仔细地测量端到端的延迟，您可以在接收器(或其他终端节点)中添加自定义指标，将事件中的时间戳与当前时间进行比较.看起来像这样:
..
Apache Flink - 将流与输入 Kafka 主题一样进行分区
我想在 Apache Flink 中实现以下场景: 给定一个有 4 个分区的 Kafka 主题，我想在 Flink 中使用不同的逻辑独立处理分区内数据，具体取决于事件的类型. 特别地，假设输入 Kafka 主题包含之前图像中描述的事件.每个事件都有不同的结构:分区 1 具有字段“a"；作为键，分区 2 具有字段“b"；作为关键等.在 Flink 中，我想根据事件应用不同的业务逻辑，所以
..
如何在Kafka和Flink环境下测试性能?
如何以 kafka 作为输入源对 Flink 进行性能测试.另外，请推荐是否有适用于这种情况的性能测试工具. 解决方案 Flink 包括吞吐量(numRecordsInPerSecond 和 numRecordsOutPerSecond)和 延迟. 如果您想更仔细地测量端到端的延迟，您可以在接收器(或其他终端节点)中添加自定义指标，将事件中的时间戳与当前时间进行比较.看起来像这样:
..
从 Kafka 主题反序列化 FlinkKafkaProducer 的事件会导致空的 JSON 记录
编辑我准备了最小的可重现示例 https://github.com/kazuhirokomoda/flink-kafka-druid 我有一个数据管道和代码，与我之前的问题中提到的完全相同(除非在本文底部另有说明):我应该以什么二进制格式将 Kafka 主题摄取到 Druid，其事件是从 FlinkKafkaProducer[] 发送的? 基本上我在自定义
..
我应该以什么二进制格式将 Kafka 主题摄取到 Druid，其事件是从 FlinkKafkaProducer[<Scala case class>] 发送的?
我有一个用 Scala 编写的数据管道，需要改进. 原样:Flink 1.8 ->(Tranquility, 官方支持 Druid 0.9.2) ->德鲁伊 0.20.1 未来:Flink 1.11 ->卡夫卡->Druid 0.20.1 使用推荐的 Druid Kafka 索引服务. Flink 应用程序生成 Scala 案例类的 DataStream(以下代码中的示例数据).
..
无法使用 Flink siddhi 库处理 kafka json 消息
我正在尝试创建一个简单的应用程序，该应用程序将使用 Kafka 消息进行一些 cql 转换并发布到 Kafka，以下是代码: Java:1.8弗林克:1.13斯卡拉:2.11flink-siddhi: 2.11-0.2.2-SNAPSHOT 我正在使用库:https://github.com/haoch/flink-siddhi 向Kafka输入json: {“awsS3":{
..
流数据处理和纳秒时间分辨率
我刚刚开始讨论实时流数据处理框架的话题，我有一个问题，目前我还没有找到任何决定性的答案: 通常的怀疑对象(Apache 的 Spark、Kafka、Storm、Flink 等)是否支持以 纳秒(甚至皮秒)的事件时间分辨率处理数据? 大多数人和文档都谈论毫秒或微秒分辨率，但我无法找到明确的答案，如果可能有更多分辨率或问题.我推断唯一具有此功能的框架是 influxData 的 Kapac
..
java.lang.Instantiation 将字节流反序列化为 Scala 案例类对象时发生异常
我正在尝试将 avro 字节流反序列化为 Scala 案例类对象.基本上，我有一个带有 avro 编码数据流的 kafka 流，现在有一个对架构的补充，我正在尝试更新 Scala 案例类以包含新字段.案例类看起来像这样 /** Case 类来保存设备数据.*/案例类 DeviceData(deviceId: String,sw_version:字符串，时间戳:字符串，阅读:双，新字段:选项[字符
..
在 APK reference.conf 中复制的重复文件
我想将我的 Android 应用程序用作 Kafka 的“生产客户端".添加以下依赖项后: //https://mvnrepository.com/artifact/org.apache.flink/flink-java编译组:'org.apache.flink'，名称:'flink-java'，版本:'1.1.3'//https://mvnrepository.com/artifact/org
..
KafkaAvroDeserializer 因 Kyro 异常而失败
我编写了一个消费者来使用架构注册表读取 Avro 的通用记录. FlinkKafkaConsumer010 kafkaConsumer010 = new FlinkKafkaConsumer010(KAFKA_TOPICS,新的 KafkaGenericAvroDeserializationSchema(schemaRegistryUrl)，特性); 反序列化类如下所示: 公共类KafkaG
..
在 APK reference.conf 中复制的重复文件
我想将我的 Android 应用程序用作 Kafka 的“生产客户端".添加以下依赖项后: //https://mvnrepository.com/artifact/org.apache.flink/flink-java编译组:'org.apache.flink'，名称:'flink-java'，版本:'1.1.3'//https://mvnrepository.com/artifact/org
..
Flink + Kafka, java.lang.OutOfMemoryError 当并行性 >1
我有一个玩具 Flink 作业，它从 3 个 kafka 主题中读取数据，然后将所有这 3 个流合并.就是这样，没有额外的工作. 如果在我的 Flink 工作中使用并行度 1，一切似乎都很好，就像我改变并行度 > 1 一样，它会失败: java.lang.OutOfMemoryError:直接缓冲内存在 java.nio.Bits.reserveMemory(Bits.java:693)在
..
java.lang.Instantiation 将字节流反序列化为 Scala 案例类对象时发生异常
我正在尝试将 avro 字节流反序列化为 Scala 案例类对象.基本上，我有一个带有 avro 编码数据流的 kafka 流，现在有一个对架构的补充，我正在尝试更新 Scala 案例类以包含新字段.案例类看起来像这样 /** Case 类来保存设备数据.*/案例类 DeviceData(deviceId: String,sw_version:字符串，时间戳:字符串，阅读:双，新字段:选项[字符
..
在 flink 应用程序中处理流运算符期间加入 ioThread 时中断/错误
我有一个基于 flink 的流应用程序，它使用 apache kafka 源和接收器.由于某些天我在开发过程中随机出现异常，我不知道它们来自哪里. 我使用 mainRunner 类在 IntelliJ 中运行应用程序，并且我通过 kafka 向它提供消息.有时第一条消息会触发错误，有时它会在几条消息之后发生. 这是它的样子: 16:31:01.935 ERROR o.a.k.c.pr
..
Flink 流未完成
我正在使用 kafka 和 elasticsearch 设置 flink 流处理器.我想重放我的数据，但是当我将并行度设置为 1 以上时，它没有完成程序我相信这是因为 kafka 流只看到一条消息被标识为流的结尾. 公共自定义架构(日期_结束时间){结束时间 = _结束时间；}@覆盖公共布尔 isEndOfStream(CustomTopicWrapper nextElement) {if (t
..