亚马逊Kinesis& AWS Lambda重试
我是 Amazon Kinesis 的新手，所以也许这对我来说只是一个问题，但在 发送给您的AWS Lambda函数的Amazon Kinesis和DynamoDB Streams记录严格按照每个分片进行序列化.这意味着，如果您将两个记录放在同一个分片中，Lambda保证您的Lambda函数将在第一个记录被调用之前先被第一个记录成功调用.如果对一条记录的调用超时，被限制或遇到任何其他错误，则La
..
amazon-kinesis相关内容
为什么我应该使用Amazon Kinesis而不是SNS-SQS?
我有一个用例，其中会有数据流传入，我无法以相同的速度使用它，因此需要一个缓冲区.可以使用SNS-SQS队列解决.我知道Kinesis解决了相同的目的，所以有什么区别?为什么我应该(或不应该)喜欢Kinesis? 解决方案 从表面上看，它们几乎是相似的，但是您的用例将确定哪种工具合适. IMO，如果您可以使用SQS，那么您应该-如果它可以满足您的要求，它将更简单，更便宜，但这是AWS FAQ
..
Spark Streaming 1.6.1不适用于Kinesis ASL 1.6.1和ASL 2.0.0-Preview
我正在尝试使用Kinesis在EMR上运行火花流作业.带有Kinesis ASL 1.6.1的Spark 1.6.1写一个简单的单词计数示例. org.apache.spark spark-streaming-kinesis-asl_2.10
..
如何将AWS Kinesis Video Stream GetMedia API输出解码为mp3/wav?
我现在使用GetMedia API通过AWS Connect服务将数据摄取到(Kinesis Video Stream)KVS，能够提取有效负载，但是如何将输出转换为mp3/wav?我想将此输出提取到AWS Transcribe服务，以获取AWS Connect服务提取到KVS的音频呼叫的文本格式. 以下代码的有效负载的输出类似于: 00#AWS_KINESISVIDEO_CONTIN
..
Spark Streaming Checkpoint恢复非常非常慢
目标:从Kinesis中读取数据，并通过火花流以Parquet格式将数据存储到S3中. 情况: 应用程序最初运行良好，可以批量运行1小时，平均处理时间少于30分钟.出于某种原因，可以说应用程序崩溃了，我们尝试从检查点重新启动.现在，该处理将永远进行，并且不会继续进行. 我们尝试以1分钟的批处理间隔测试同一件事，该处理运行良好，并且需要1.2分钟才能完成批处理.从检查点恢复后，每批次大约需要15分
..
Spark Streaming 1.6.0中检查点/WAL的可靠性问题
说明 我们在Scala中有一个Spark Streaming 1.5.2应用程序，该应用程序从Kinesis Stream读取JSON事件，进行一些转换/聚合并将结果写入不同的S3前缀.当前的批处理间隔为60秒.我们有3000-7000个事件/秒.我们正在使用检查点来防止丢失聚合. 它运行良好已有一段时间，可以从异常中恢复，甚至可以重新启动群集.我们最近重新编译了Spark Strea
..
如何将AWS Kinesis视频流的音频流输出馈送到AWS Transcribe服务?
如何将AWS Kinesis视频流(KVS)的音频流输出馈送到AWS Transcribe服务并获得实时音频到文本的转换?我通过亚马逊连接到KVS(Kinesis视频流)摄取了音频，我担心的是，kinesis视频流(KVS)提供哪种格式(我希望其有效载荷格式)，并将提供能够支持它的Transcribe服务或我可以转换为Transcribe的任何方式服务可以理解. 解决方案 对我来说，尽管g
..
AWS Transcribe>有什么区别?流式转录功能和Kinesis视频流(用于音频输入)，用于实时流式传输音频
嗨，我的要求是我有实时音频流作为输入，比如说两个人之间的通话，现在可以将音频转换为实时文本，并从提取的文本中选择某些关键字，然后插入数据库中. 按照 “> https://github.com/中的体系结构aws-samples/amazon-connect-realtime-transcription AWS Kinesis Video Streams服务和AWS Transcribe均用
..
TRIM_HORIZON与最新
我在AWS Kinesis的正式文档中找不到TRIM_HORIZON和检查点之间的任何显式引用，以及LATEST和检查点之间的任何引用. 你能证实我的理论吗? TRIM_HORIZON-如果应用程序名称是新的，那么我将读取流中所有可用的记录.否则，已经使用了应用程序名称，那么我将从 my 的最后一个检查点开始读取. LATEST-如果应用程序名称是新的，那么我将读取流中添加了 的
..
如何使用亚马逊Rekognition在流视频上执行面部识别？
我正在流式传输来自树莓派的亚马逊运动学视频（已完成）。现在，我想使用Amazon Rekognition在该视频上执行面部检测/识别，该操作如何通过链接进行详细说明。谢谢 解决方案 来自使用流视频-Amazon Rekognition ： 您可以使用Amazon Rekognition Video可检测和识别流视频中的面部。典型的用例是当您要检测视频流中的已知面孔时。 Amazon
..
Kinesis Stream和DynamoDB流之间的区别
他们似乎在对我做同样的事情。有人可以向我解释这些区别吗？ 解决方案 两者之间的高度差异： Kinesis Streams 允许您生成和使用大量数据（日志，Web数据等），其中 DynamoDB Streams 是DynamoDB的本地功能，允许您查看DynamoDB表项目的细粒度更改。 更多详细信息： Amazon Kinesis Streams Amazon Ki
..
AWS Kinesis leaseOwner混淆
一个非常简单的应用程序，它在具有2个工作人员的Spark集群上运行，使用带有2个分片的Kinesis。 然后，我检查了 DynamoDB上的Kinesis Streams应用程序状态（此屏幕截图所示）在北部区域弗吉尼亚。 我不时启动和停止工作人员，我只是注意到，当2个碎片的leaseOwner是同一名工作人员时，应用程序可以正常工作。 但是当我停止当前的leaseOwner（10
..
Kinesis lambda DynamoDB
我正在学习一个用例的AWS服务。浏览完文档后，我想到了一个简单的流程。我想通过使用Streams API和KPL将数据摄取到Kinesis流中。我使用示例putRecord方法将数据提取到流中。我正在将此JSON提取到流中- {“ userid”：1234，“ username”：“ jDoe”，“ firstname“：” John“，” lastname“：” Doe“}
..
实时复制DynamoDB表数据跨帐户
最简单的方法是什么（最简单的方法意味着较低的服务维护开销。如果可能，最好使用服务器较少的方法）将数据从一个帐户的DDB表复制到另一个帐户，最好以服务器较少的方式复制（因此不使用任何计划的作业）数据管道）。 我正在探索使用DynamoDB流的可能性，但是这个旧的 answer 提到这是不可能的。但是，我找不到最新的文档来确认/证明这一点。还是这样吗？ 我正在考虑的另一种选择：更新操作的F
..
在批处理模式下使用消息时，Spring Aws Kinesis Binder ProvisionedThroughputExceededException
我正在使用批处理模式从kinesis流中提取记录。 在大多数情况下，我们无法从流中提取消息。 我的配置如下所示 我的配置 spring： 云： 流： 运动： 活页夹： 锁： 租约时间：30 读容量：1 write容量：1 检查点：$ b $ b read容量：1 writeCapacity：1 绑定： InStreamGroupOne： 使用者： 侦
..
Amazon Kinesis和有保证的订购
Amazon声称其Kinesis流产品可保证记录排序。 它提供记录的排序以及读取和/或记录的功能。或以相同顺序重播记录（...） Kinesis由流组成，而流本身由一个或多个碎片组成。记录存储在这些碎片中。我们可以编写连接到Shard的消费者应用程序，并按照存储顺序读取/重放记录。 但是Kinesis可以开箱即用地保证订购流自身而不将订购逻辑推送给消费者？使用者如何从同一Stre
..
Apache Flink-如何使用AWS Kinesis发送和使用POJO
我想使用Flink消费来自Kinesis的POJO. 是否有关于如何正确发送和反序列化消息的标准? 谢谢 解决方案 我使用以下方法解决了该问题: DataStream kinesis = see.addSource(new FlinkKinesisConsumer( "my-stream", new POJODese
..
如果记录顺序无关紧要，我可以使用单个Kinesis分片并行调用Lambda函数吗?
我有一个仅需要1个Kinesis分片带宽的应用程序，但是我需要并行执行许多lambda函数调用来跟上记录处理的步伐.我的记录大小偏高(其中一些侵犯了1000 KB的限制)，但是由于我正在使用单个EC2实例填充流，因此传入速率仅为1 MB/s.由于每条记录都包含一个内部时间戳，因此我不关心按顺序处理它们.基本上，我需要迁移几个月的数据，我想并行进行. 处理后的记录提供了可处理1000个并发客户
..
Boto3 Kinesis视频GetMedia和OpenCV
我正在尝试使用Boto3从kinesis获取视频流，然后使用OpenCV显示供稿并将其同时保存到文件中. 获取签名的URL然后获取Getmedia请求的过程似乎完美地工作，只是当我试图使用OpenCV呈现它时，它似乎不起作用. 数据反抗地流向流 import boto3 import numpy as np import cv2 kinesis_client = boto3.c
..
如何将25k记录放入运动流并通过测试工具进行确认
我已经开发了一款将记录写入Amazon kinesis Stream Web服务的软件.我试图了解我们是否有任何软件工具可以让我测量我的代码在一秒钟内为Kinesis Stream生成的1个Shard的最大吞吐量. 是的，我同意这也取决于硬件配置.但是首先，我想了解通用机器，那么也许我将能够看到水平可伸缩性 为此，我试图达到每秒25k条记录以写入运动学流 参考资料:Kinesis ht
..