如何在多个记录处理器之间平衡 kinesis 分片?
我目前正在编写 Golang 版本的简单 Kinesis 客户端库 (KCL).我希望它用于我的简单 KCL 的功能之一是跨多个记录处理器和 EC2 实例的负载平衡分片.例如，我有两个记录处理器(将在单独的 EC2 实例中运行)和四个 Kinesis 分片.负载平衡功能将允许每个记录处理器处理两个 Kinesis 分片. 我读到 Java KCL 实现了这个，但我在库中找不到实现.我的问题是
..
amazon-kcl相关内容
TRIM_HORIZON 对比最新
我在 AWS Kinesis 的正式文档中找不到 TRIM_HORIZON 和检查点之间的任何显式 引用，以及它们之间的任何引用LATEST 和检查点. 你能证实我的理论吗: TRIM_HORIZON - 如果应用程序名称是新的，那么我将读取流中的所有可用记录.否则，application-name 已被使用，那么我将从 my 上次检查点读取. LATEST - 如果应用程序名称
..
Apache Beam 如何管理运动检查点?
我有一个在 Apache Beam(使用 Spark Runner)中开发的流式管道，它从 kinesis 流中读取数据. 我正在寻找 Apache Beam 中的选项来管理 kinesis 检查点(即定期存储 kinesis 流的当前位置)，以便它允许系统从故障中恢复并在流停止的地方继续处理. Apache Beam 是否提供了类似于 Spark Streaming 的支持 kine
..
如何使用 KCL 使用 Kinesis Data Streams 中的记录
我正在尝试使用类似于 https:/的 Kinesis 客户端库来使用 Kinesis 数据流/github.com/aws-samples/amazon-kinesis-learning.但在这个例子中，他们安排了这个过程.我想在没有调度程序的情况下使用传入的记录. 我不想使用 DynamoDB、cloudWatch.期望一个简单的消费者在流中消费记录 有没有什么办法可以在没有调度程
..
Apache Beam如何管理运动学检查点?
我有一个用Apache Beam(使用Spark Runner)开发的流传输管道，该管道从kinesis流中读取数据. 我正在寻找Apache Beam中用于管理运动学检查点的选项(即定期存储运动学流的当前位置)，以便它使系统从故障中恢复并继续处理流停止的地方. 是否有可供Apache Beam支持的运动学检查点的设置，类似于Spark Streaming(参考链接- Sequence
..
在多个EC2实例上运行的同一Kinesis Consumer
我有多个EC2实例正在为同一个微服务运行，该微服务有一个Kinesis使用者正在运行(使用KCL). 我的问题是，当Kinesis流收到一个新事件时，由于所有使用者都在轮询，因此所有实例的使用者都将使用同一事件吗? 解决方案 该事件仅由一个使用者使用
..
TRIM_HORIZON与最新
我在AWS Kinesis的正式文档中找不到TRIM_HORIZON和检查点之间的任何显式引用，以及LATEST和检查点之间的任何引用. 你能证实我的理论吗? TRIM_HORIZON-如果应用程序名称是新的，那么我将读取流中所有可用的记录.否则，已经使用了应用程序名称，那么我将从 my 的最后一个检查点开始读取. LATEST-如果应用程序名称是新的，那么我将读取流中添加了 的
..
如何在多个记录处理器之间平衡kinesis碎片？
我目前正在使用Golang版本编写简单的Kinesis客户端库（KCL）。我希望为我的简单KCL提供的功能之一是跨多个记录处理器和EC2实例的负载均衡分片。例如，我有两个记录处理器（将在单独的EC2实例中运行）和四个Kinesis碎片。负载平衡功能将允许每个记录处理器处理两个Kinesis碎片。 我读到Java KCL实现了这一点，但我无法在库中找到实现。我的问题是我将如何在Golang中实
..