通过设置 API 网关为 Amazon Kinesis 调用 REST API
我正在尝试发送 HTTP Post 请求以将记录放入 Amazon Kinesis Stream.有多种方式(Kinesis 客户端、KPL、将 AWS 网关设置为 Kinesis 代理). 我看到了这个关于 Kinesis PutRecord API 的文档http://docs.aws.amazon.com/kinesis/latest/APIReference/API_PutRecor
..
amazon-kinesis相关内容
Kinesis Firehose 在没有分隔符逗号的情况下将 JSON 对象放入 S3
在发送数据之前，我使用 JSON.stringify 来处理数据，它看起来像这样 {"data": [{"key1": value1, "key2": value2}, {"key1": value1, "key2": value2}]} 但是一旦它通过 AWS API Gateway 并且 Kinesis Firehose 将其放入 S3，它看起来像这样 {“key1":值1，“键2":
..
AWS Lambda 无法连接到 RDS 实例，但我可以在本地连接?
我正在尝试从 lambda 连接到我的 RDS 实例.我在本地编写了 lambda 并在本地进行了测试，一切都很顺利.我部署到 lambda，突然它不起作用.下面是我正在运行的代码，如果有帮助，我将通过 kinesis 流调用 lambda. 'use strict';export.handler = (event, context, handlerCallback) =>{console.lo
..
每个 kinesis 分片有多个消费者
我了解到每个 kinesis 流可以有多个消费者应用程序. http://docs.aws.amazon.com/kinesis/latest/dev/developing-consumers-with-kcl.html 但是，我听说每个分片只能拥有一个消费者.这是真的?我没有找到任何文档来支持这一点，并且无法想象如果多个消费者从同一个流中读取会怎样.当然，这并不意味着生产者需要为不同
..
如何确定 AWS kinesis 流中的分区键总数?
在生产者-消费者 Web 应用程序中，为 kinesis 流分片创建分区键的思考过程应该是怎样的.假设，我有一个包含 16 个分片的 kinesis 流，我应该创建多少个分区键?真的依赖分片数量吗? 解决方案 Partition (or Hash) Key: 从 1 开始到 340282366920938463463374607431768211455.比如说~34020 * 10^34，
..
亚马逊 Kinesis &AWS Lambda 重试
我对 Amazon Kinesis 非常陌生，所以也许这只是我理解中的一个问题，但在 AWS Lambda 常见问题 它说: 发送到您的 AWS Lambda 函数的 Amazon Kinesis 和 DynamoDB Streams 记录按每个分片严格序列化.这意味着，如果您将两条记录放在同一个分片中，Lambda 会保证您的 Lambda 函数将在使用第二条记录调用之前使用第一条记录成功
..
为什么我应该使用 Amazon Kinesis 而不是 SNS-SQS?
我有一个用例，其中会有数据流到来，但我无法以相同的速度使用它，因此需要一个缓冲区.这可以使用 SNS-SQS 队列解决.我开始知道 Kinesis 解决了相同的目的，那么有什么区别呢?为什么我应该喜欢(或不应该喜欢)Kinesis? 解决方案 从表面上看，它们有些相似，但您的用例将决定哪种工具是合适的.IMO，如果您可以使用 SQS，那么您应该 - 如果它可以满足您的需求，它将更简单且更便
..
亚马逊 AWS Kinesis Video Boto GetMedia/PutMedia
有人知道如何使用 boto3 sdk 将视频发送到 kinesis 视频流的完整示例吗? 这个问题最初是针对 GetMedia 和 PutMedia 提出的.现在我得到了 GetMedia 部分的示例代码: client = boto3.client('kinesisvideo')响应 = client.get_data_endpoint(StreamName='我的测试流'，APINam
..
application_ 的申请报告(状态:已接受)永远不会因 Spark Submit 而结束(在 YARN 上使用 Spark 1.2.0)
我正在运行 kinesis plus spark 应用程序https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html 我运行如下 ec2 实例上的命令: ./spark/bin/spark-submit --class org.apache.spark.examples.streaming.mycla
..
将数据从 Amazon Aurora 同步到 Redshift
我正在尝试在 AWS Aurora 和 Redshift 之间设置同步.实现这种同步的最佳方法是什么? 可能的同步方式是:- 查询表以查找表中的更改(因为我只执行插入操作，更新无关紧要)，将这些更改导出到 S3 存储桶中的平面文件并使用 Redshift 复制命令插入到 Redshift 中. 使用 python 发布者 和 Boto3 将更改发布到 Kinesis 流中然后在
..
Amazon Kinesis 和保证订购
亚马逊声称他们的 Kinesis 流媒体产品保证记录订购. 它提供记录的排序，以及以相同顺序读取和/或重放记录的能力 (...) Kinesis 由 Streams 组成，而 Streams 本身又由一个或多个 Shard 组成.记录存储在这些分片中.我们可以编写连接到分片的消费者应用程序，并按照记录的存储顺序读取/重放记录. 但是 Kinesis 能否保证开箱即用地为 Stre
..
Kinesis Streams 和 Flink
我有一个关于在 Kinesis 流中分片数据的问题.我想在将用户数据发送到我的 kinesis 流时使用随机分区键，以便分片中的数据均匀分布.为了使这个问题更简单，我想通过在我的 Flink 应用程序中关闭 userId 来聚合用户数据. 我的问题是:如果分片是随机分区的，以便一个 userId 的数据分布在多个 Kinesis 分片上，Flink 是否可以处理读取多个分片，然后重新分配数据
..
Flink 检查点大小增长超过 20GB，检查点时间超过 1 分钟
首先: 我是 Flink 的新手(了解原理并且能够创建我需要的任何基本流作业) 我使用 Kinesis Analytics 来运行我的 Flink 作业，默认情况下它使用间隔为 1 分钟的增量检查点. Flink 作业正在使用 FlinkKinesisConsumer 和自定义 deserailzer 从 Kinesis 流中读取事件(将字节反序列化为一个简单的 Java 对象，该对象在
..
Apache Flink - 如何使用 AWS Kinesis 发送和使用 POJO
我想使用 Flink 使用来自 Kinesis 的 POJO. 是否有正确发送和反序列化消息的标准? 谢谢 解决方案 我解决了: DataStreamkinesis = see.addSource(new FlinkKinesisConsumer(“我的直播"，新的 POJODeserializationSchema(),kinesisConsumerConfig)); 和
..
Flink Kinesis Consumer 不存储最后成功处理的序列号
我们正在使用 Flink Kinesis Consumer 将 Kinesis 流中的数据消费到我们的 Flink 应用程序中. KCL 库使用 DynamoDB 表来存储最后成功处理的 Kinesis 流序列号.以便下次应用程序启动时，它会从停止的地方继续. 但是，Flink Kinesis Consumer 似乎没有维护任何这样的序列号.在任何持久存储中.因此，我们需要依赖 Sha
..
Apache 光束:状态规范中的 TTL
我们正在读取 Kinesis 并写入 parquet，我们使用 StateSpec> 来避免在从最后一个保存点正常停止和重新启动我们的管道后重复处理记录.> 我们看到一些记录被复制，因为它们最终会在后续重新启动时落在不同的任务管理器上，我们使用 StateSpec> 来存储有关已处理记录的状态信息并避免重复. 我们正在处理如何每隔特定时间清除状态，而不会丢失最近处理的记录(如果在即将到来的
..
Apache Beam 如何管理运动检查点?
我有一个在 Apache Beam(使用 Spark Runner)中开发的流式管道，它从 kinesis 流中读取数据. 我正在寻找 Apache Beam 中的选项来管理 kinesis 检查点(即定期存储 kinesis 流的当前位置)，以便它允许系统从故障中恢复并在流停止的地方继续处理. Apache Beam 是否提供了类似于 Spark Streaming 的支持 kine
..
如何使用 KCL 使用 Kinesis Data Streams 中的记录
我正在尝试使用类似于 https:/的 Kinesis 客户端库来使用 Kinesis 数据流/github.com/aws-samples/amazon-kinesis-learning.但在这个例子中，他们安排了这个过程.我想在没有调度程序的情况下使用传入的记录. 我不想使用 DynamoDB、cloudWatch.期望一个简单的消费者在流中消费记录 有没有什么办法可以在没有调度程
..
AWS lambda 到 firehose 的转换:Python
我想使用 lambda 函数转换 AWS kinesis 流数据，然后使用 AWS firehose 传输到 S3.但是，我总是遇到这个问题:errorCode":"Lambda.FunctionError","errorMessage":"Lambda 函数已成功调用，但返回错误结果." 这是 lambda_function. 导入 base64导入jsondef lambda_hand
..
如何将运动视频流存储到 S3 存储桶中?
我正在通过 kinesis 视频流将实时视频流发送到亚马逊控制台，现在我想将其存储到亚马逊 S3 中.如何存储到S3请详细说明.谢谢 解决方案 Amazon Kinesis Video 不会“开箱即用"地将视频存储在 S3 中.目的是提供一种服务，允许以某种方式处理视频. 您可以编写一个消费者应用程序，将视频存储到 Amazon S3 中，但坦率地说，有更简单的方法可以将数据存储在
..