读取由 Amazon Kinesis Firehose 流写入 s3 的数据
我正在将记录写入 Kinesis Firehose 流，最终由 Amazon Kinesis Firehose 写入 S3 文件. 我的记录对象看起来像 ItemPurchase {字符串personId，字符串 itemId} 写入 S3 的数据如下所示: {"personId":"p-111","itemId":"i-111"}{"personId":"p-222","itemId
..
amazon-kinesis相关内容
亚马逊 Kinesis Video GetMedia/PutMedia
我使用了 python 3.6，我想使用 API 将视频流发布到 aws kinesis.我使用 python aws 客户端创建流和 GetDataEndPoint 但是当我想用我的自定义请求发布我的数据时(PutMedia 实际上不包含在 python 客户端中)，我得到错误无法确定要授权的服务/操作名称. 我遵循了 aws kinesis 视频媒体的 api 文档 PutMedia 和
..
如何将数据从服务器放入 Kinesis Stream
我是 Kinesis 的新手.阅读我发现的文档，我可以创建 Kinesis Stream 以从 Producer 获取数据.然后使用 KCL 将从 Stream 中读取此数据以进行进一步处理.我了解如何通过实现 IRecordProcessor 来编写 KCL 应用程序. 然而，如何将数据放在 Kinesis 流上的第一阶段对我来说仍然不清楚.我们是否有一些需要实现的 AWS API.
..
AWS Kinesis ShardIteratorType TRIM_HORIZON 的预期行为
上下文:我不一定指的是基于 KCL 的应用程序，只是纯粹的 Kinesis API 调用. 使用 TRIM_HORIZON 分片迭代器类型是否会立即为您提供流中最早发布的记录(即在 Kinesis 的内置 24 小时窗口中最早可用的记录)，或者只是一些迭代器/游标最多 24 小时前的时间段，然后您必须使用该时间段沿着溪流前进，直到达到最早发布的记录? 换一种说法，以防万一不太清楚...
..
spark流检查点恢复非常非常慢
目标:通过 Spark 流从 Kinesis 读取数据并将数据以 Parquet 格式存储到 S3. 情况:应用程序最初运行良好，运行批次为 1 小时，处理时间平均不到 30 分钟.出于某种原因，可以说应用程序崩溃了，我们尝试从检查点重新启动.处理现在需要永远并且不会继续前进.我们试图以 1 分钟的批处理间隔测试相同的东西，处理运行良好，批处理需要 1.2 分钟才能完成.当我们从检查点恢复时，每
..
put_records() 只接受 Kinesis boto3 Python API 中的关键字参数
from __future__ import print_function # Python 2/3 兼容性导入 boto3导入json输入十进制#kinesis = boto3.resource('kinesis', region_name='eu-west-1')客户端 = boto3.client('kinesis')使用 open("questions.json") 作为 json_fil
..
将 Firehose 传输的文件存储在 S3 中的自定义目录名称下
我们主要通过 Kinesis Firehose 服务批量传输传入的点击流数据.我们的系统是一个多租户SaaS平台.传入的点击流数据通过 Firehose 存储在 S3 中.默认情况下，所有文件都存储在按给定日期格式命名的目录下.我想通过API指定Firehose平面\中数据文件的目录路径，以便隔离客户数据. 例如，我希望在 S3 中为客户 A、B 和 C 提供的目录结构: /A/201
..
AWS Kinesis 中的分区键是什么?
我正在阅读有关 AWS Kinesis 的内容.在下面的程序中，我将数据写入名为 TestStream 的流中.这段代码我运行了 10 次，在流中插入了 10 条记录. var 参数 = {数据:'更多样本数据进入测试流......'，分区密钥:'TestKey_1'，流名称:'测试流'};kinesis.putRecord(params, function(err, data) {if (er
..
Spring Aws Kinesis Binder ProvisionedThroughputExceededException，同时在批处理模式下使用消息
我正在使用批处理模式从 kinesis 流中提取记录.我们正在使用 spring aws kinesis binder. 大多数时候我们无法从流中提取消息.只有有时我们能够从流中提取消息. 我的配置如下 我的配置 弹簧:云:溪流:运动:粘合剂:锁:租期:30读取容量:1写入容量:1检查点:读取容量:1写入容量:1绑定:内流组一:消费者:侦听器模式:批处理idleBetweenP
..
Kinesis 代理未解析文件
我在 agent.json 中有以下内容 {“cloudwatch.emitMetrics":真，"kinesis.endpoint": "","firehose.endpoint": "",“流量":[{"filePattern": "/home/ec2-user/ETLdata/contracts/Delta.csv","kinesisStream": "ETL-rawdata-stream
..
跨账户实时复制DynamoDB表数据
将数据从一个帐户中的 DDB 表复制到另一个帐户的最简单方法是什么(最简单意味着服务维护开销较少.如果可能，更喜欢无服务器方法)将数据从一个帐户中的 DDB 表复制到另一个帐户，最好以无服务器方式(因此没有计划的作业使用数据管道). 我正在探索使用 DynamoDB 流的可能性，但是这个旧的 answer 提到这是不可能的.但是，我找不到确认/反驳这一点的最新文档.还是这样吗? 我正在
..
AWS & 之间的流日志数据延迟是多少?谷歌云服务?
有没有人经历过: 将流式/微批处理日志数据从 Amazon 发送到 BigQuery 进行处理并可以阐明任何延迟问题? 将(微批处理)日志从 Google DataFlow 发送到 Amazon (Kinesis/S3/DynamoDB) 有人可以提供有关延迟的信息吗? 谢谢 解决方案 在问题 1 中，我相信您对 BigQuery 摄取延迟感兴趣.根据 将数据流式传输到
..
Kafka 喜欢 Kinesis Stream 上的偏移量吗?
我过去曾与 Kafka 合作过，最近需要将部分数据管道移植到 AWS Kinesis Stream 上.现在我读到 Kinesis 实际上是 Kafka 的一个分支，并且有许多相似之处. 然而，我没有看到我们如何让多个消费者从同一个流中读取，每个消费者都有相应的偏移量.每个数据记录都有一个序列号，但我找不到任何特定于消费者的东西(Kafka 组 ID?). 是否真的有可能在同一 AWS
..
如何扇出 AWS kinesis 流?
我想将输入 AWS Kinesis 流扇出/链接/复制到 N 个新的 Kinesis 流，以便写入输入 Kinesis 的每条记录都将出现在 N 个流中的每一个中. 是否有 AWS 服务或开源解决方案? 如果有现成的解决方案，我宁愿不编写代码来执行此操作.AWS Kinesis firehose 是没有解决方案，因为它无法输出到 kinesis.如果运行起来成本不会太高，也许是 AWS
..
Kinesis Stream 和 DynamoDB 流之间的区别
他们似乎对我做同样的事情.谁能给我解释一下区别? 解决方案 两者的高层次区别: Kinesis Streams 允许您生成和使用大量数据(日志、Web 数据等)，其中 DynamoDB Streams 是 DynamoDB 的本地功能，允许您以查看对 DynamoDB 表项的精细更改. 更多详情: 亚马逊 Kinesis Streams Amazon Kinesis
..
Spark Streaming 1.6.0 中检查点/WAL 的可靠性问题
说明 我们在 Scala 中有一个 Spark Streaming 1.5.2 应用程序，它从 Kinesis Stream 读取 JSON 事件，执行一些转换/聚合并将结果写入不同的 S3 前缀.当前批处理间隔为 60 秒.我们有 3000-7000 个事件/秒.我们正在使用检查点来保护我们免于丢失聚合. 它运行良好有一段时间了，从异常中恢复，甚至集群重新启动.我们最近重新编译了 S
..
TRIM_HORIZON 对比最新
我在 AWS Kinesis 的正式文档中找不到 TRIM_HORIZON 和检查点之间的任何显式 引用，以及它们之间的任何引用LATEST 和检查点. 你能证实我的理论吗: TRIM_HORIZON - 如果应用程序名称是新的，那么我将读取流中的所有可用记录.否则，application-name 已被使用，那么我将从 my 上次检查点读取. LATEST - 如果应用程序名称
..
Boto3 Kinesis Video GetMedia 和 OpenCV
我正在尝试使用 Boto3 从 kinesis 获取视频流，然后使用 OpenCV 显示提要并同时将其保存到文件中. 获取签名 URL 和 Getmedia 请求的过程似乎完美无缺，只是当我尝试使用 OpenCV 呈现它时，它似乎不起作用. 数据不顾一切地流向数据流 导入boto3将 numpy 导入为 np导入 cv2kinesis_client = boto3.client('k
..
从 Java 使用 LocalStack 时获取 AmazonKinesisException 状态代码:502
我正在使用 LocalStack 编写集成测试来模拟我对 Kinesis 的调用.我已经创建了一个 Kinesis 客户端，但是当我尝试在 Kinesis 上放置记录时出现错误: com.amazonaws.services.kinesis.model.AmazonKinesisException:null(服务:AmazonKinesis；状态代码:502；错误代码:null；请求 ID:
..
Apache Spark Kinesis 示例不起作用
我正在尝试运行 JavaKinesisWordCountASL 示例. 该示例似乎连接到我的 Kinesis Stream 并从该流中获取数据(如下面的日志所示).但是，Sparks 不会调用示例中传递给 unionStreams.flatMap 方法的调用函数，也不会打印任何字数. 我尝试使用 Java 8 和 Java 7 运行.我在 ubuntu 实例上运行它.同样的例子也适用于
..