amazon-kinesis-analytics相关内容

使用Kinesis Analytics的Apache Flink:java.lang.IllegalArgumentException:要分配的内存部分不应为0

背景: 我一直在尝试在相同的Flink应用程序中设置Batch+Streaming,该应用程序部署在Kinesis Analytics运行时。流部件工作正常,但添加批处理支持时遇到问题。 Flink : Handling Keyed Streams with data older than application watermark Apache Flink : Batch Mode ..

Flink 检查点大小增长超过 20GB,检查点时间超过 1 分钟

首先: 我是 Flink 的新手(了解原理并且能够创建我需要的任何基本流作业) 我使用 Kinesis Analytics 来运行我的 Flink 作业,默认情况下它使用间隔为 1 分钟的增量检查点. Flink 作业正在使用 FlinkKinesisConsumer 和自定义 deserailzer 从 Kinesis 流中读取事件(将字节反序列化为一个简单的 Java 对象,该对象在 ..

如何对基于 KinesisRecord 的 DoFn 进行单元测试?

我正在着手一个从 AWS Kinesis 读取数据的 Beam 项目,所以我有一个简单的 DoFn,它接受 KinesisRecord 并记录内容.我想编写一个单元测试来运行这个 DoFn 并证明它有效.不过,事实证明,使用 KinesisRecord 进行单元测试具有挑战性. 当我尝试仅使用 Create.of(testKinesisRecord) 时出现此错误: java.lang.I ..
发布时间:2021-11-11 22:44:52 Java开发

Flink检查点的大小增长超过20GB,检查点时间超过1分钟

首要: 我是Flink的新手(了解原理并能够创建我需要的任何基本流工作) 我使用Kinesis Analytics运行Flink作业,默认情况下,它使用间隔为1分钟的增量检查点. Flink作业正在使用FlinkKinesisConsumer和自定义反序列化器(将字节反序列化为一个简单的Java对象,在整个作业中使用)从Kinesis流中读取事件 我想存档的只是简单地计算过去24小 ..