Kinesis跨帐户Lambda触发
我正在尝试通过帐户"A"中的Kinesis流触发帐户"B"中的lambda.这类似于此处 ，除了该示例使用S3代替Kinesis. 为此，我正在尝试设置正确的权限，但是遇到了困难. 首先，我添加此权限: aws lambda add-permission \ --function-name "$function_name" \ --statement-id 'Id-123'
..
amazon-kinesis相关内容
使用Kinesis Analytics构建实时会话
某处是否有示例，或者有人可以解释如何使用Kinesis Analytics构建实时会话. (即会话化) 这里提到了这种可能: https://aws.amazon.com/blogs/aws/amazon-kinesis-analytics-process-streaming-data-in-real-time-with-sql/在讨论自定义窗口时，没有给出示例. 通常，这是在SQL中
..
如何从Kinesis Analytics(SQL)格式化为字符串的json内部选择数据
我有一个运动数据流，它以这种格式传递数据: created_at:时间戳记 有效负载:varchar(6000) payload元素的简化示例 { "version": 2.0, "data": { "whatever": "someString", "observations": [{ "obs_id":
..
分片[shardId-000000000000]未关闭.如果我们在进行分片操作时构造了分片列表，则可能会发生这种情况
从Amazon kinesis Stream提取数据时出现此错误. 我正在按照以下步骤操作 创建Amazon Kinesis Steam 使用AmazonKinesisClient的putRecord api输入数据. 然后使用Worker Of KCL库从流中获取数据. 解决方案 有几种可能. 您下令创建流之后，您是否等待了足够的时间才能完成?有时，创建一个碎片可能需要1
..
是否可以在不删除流的情况下从Amazon Kinesis删除数据记录或碎片?
我知道Kinesis Stream中的数据记录将在24小时内自动删除.但是，在我的应用程序中，每当我向流中写入一些数据时，如果要第二次写入其他数据，则应删除第一个插入的数据.既然我刚开始使用AWS Kinesis Stream，请有人帮助我...我没有从Kinesis Service API获得任何帮助... 解决方案 您不能从流中删除以前插入的数据，但是可以使用KCL读取数据. KCL将
..
读取Amazon Kinesis Firehose流写入s3的数据
我正在将记录写入Kinesis Firehose流，最终由Amazon Kinesis Firehose写入S3文件. 我的记录对象看起来像 ItemPurchase { String personId, String itemId } 将数据写入S3的方式如下: {"personId":"p-111","itemId":"i-111"}{"personId"
..
Amazon Kinesis视频GetMedia/PutMedia
我使用了python 3.6，我想使用API将视频流发布到awine kinesis. 我使用python aws客户端创建流和GetDataEndPoint，但是当我想用自定义请求发布数据(PutMedia实际上不包含在python客户端中)时，出现错误Unable to determine service/operation name to be authorized. 我已遵循AW
..
Kinesis流待处理消息计数
我正在尝试将AWS Kinesis流用于我们的数据流之一.我想出于操作目的监视流中的未决消息(根据积压向下游扩展)，但是找不到在我的流中给出(大约)未决消息的任何API. 这看起来很奇怪，因为消息在7天后过期，并且如果生产者和消费者处于隔离状态并且无法通信，您如何知道消息即将过期.您如何处理这个问题? 谢谢！ 解决方案 Kinesis中没有“待处理"消息之类的概念.所有传入的数
..
Kinesis分区密钥始终位于同一碎片中
我有一个带有2个分片的运动流，如下所示: { "StreamDescription": { "StreamStatus": "ACTIVE", "StreamName": "my-stream", "Shards": [ { "ShardId": "shardId-00000000
..
在自定义目录名称下将Firehose传输的文件存储在S3中
我们主要通过Kinesis Firehose服务批量传输传入的点击流数据.我们的系统是一个多租户SaaS平台.传入的点击流数据通过Firehose存储S3.默认情况下，所有文件都存储在以给定日期格式命名的目录下.我想通过API为Firehose planel \中的数据文件指定目录路径，以便隔离客户数据. 例如，我希望在S3中为客户A，B和C提供目录结构: / A /2017/10/1
..
使用AWS Kinesis Firehose写入S3存储桶中的特定文件夹
我希望能够基于数据内部的内容将数据发送到kinesis firehose.例如，如果我发送了以下JSON数据: { "name": "John", "id": 345 } 我想基于id过滤数据并将其发送到我的s3存储桶的子文件夹，例如:S3://myS3Bucket/345_2018_03_05. Kinesis Firehose或AWS Lambda完全可行吗? 我现
..
put_records()仅在Kinesis boto3 Python API中接受关键字参数
from __future__ import print_function # Python 2/3 compatibility import boto3 import json import decimal #kinesis = boto3.resource('kinesis', region_name='eu-west-1') client = boto3.client('kinesis')
..
AWS Kinesis中的分区密钥到底是什么?
我正在阅读有关AWS Kinesis的信息.在以下程序中，我将数据写入名为TestStream的流中.我将这段代码运行了10次，在流中插入了10条记录. var params = { Data: 'More Sample data into the test stream ...', PartitionKey: 'TestKey_1', StreamName: 'Te
..
如果AWS Lambda函数具有来自多个Kinesis流的事件源，那么传入记录的批处理将来自单个Kinesis流还是混合源?
标题可能有点混乱.我会尽力使它更清楚. 假设我有一个AWS Lambda函数，它具有两个不同的Kinesis流A和B作为输入事件源. 那么，对于以下情况，由于KinesisEvent实例包含一批记录，该批处理将包含来自单个流的记录，还是本质上它包含来自流A和B的记录? public class ProcessKinesisEvents { public void reco
..
如何扇出AWS kinesis流?
我想将输入的AWS Kinesis流成扇形散布/链接/复制到N个新的Kinesis流，以使写入输入Kinesis的每条记录都将出现在N条流中的每条中./p> 是否有 AWS服务或开源解决方案? 如果有现成的解决方案，我不希望编写代码来做到这一点. AWS Kinesis Firehose 是没有解决方案，因为它无法输出到运动学.如果运行起来不会太昂贵，也许是AWS Lambda解决方案?
..
每个运动碎片有多个消费者
我读到您可以在每个运动学流中拥有多个消费者应用程序. http://docs.aws. amazon.com/kinesis/latest/dev/developing-consumers-with-kcl.html 但是，我听说您只能在每个分片上使用消费者.这是真的?我找不到任何文档来支持这一点，也无法想象如果多个使用者正在从同一流中读取内容，那会是怎样的情况.当然，这并不意味着生产
..
Amazon AWS Kinesis视频Boto GetMedia/PutMedia
有人知道如何使用boto3 sdk将视频发送到运动视频流的完整示例吗? 最初针对GetMedia和PutMedia都询问了此问题.现在，我已经获得了GetMedia部分的示例代码: client = boto3.client('kinesisvideo') response = client.get_data_endpoint( StreamName='my-test-stre
..
通过设置API网关调用Amazon Kinesis的REST API
我正在尝试发送HTTP发布请求以将记录放入Amazon Kinesis Stream.有几种方法(Kinesis Client，KPL，将AWS Gateway设置为Kinesis Proxy). 我看到了有关Kinesis PutRecord API的文档 http://docs.aws.amazon.com/kinesis/latest/APIReference/API_PutRecor
..
如何确定AWS kinesis流中的分区键总数?
在生产者-消费者Web应用程序中，为运动学流碎片创建分区键的思考过程应该是什么. 假设我有一个包含16个分片的运动流，我应该创建多少个分区键?它真的取决于分片的数量吗? 解决方案 分区(或哈希)键:从1开始，直到340282366920938463463374607607431768211455.可以说〜34020 * 10 ^ 34，为方便起见，我将省略10 ^ 34. 如果有30
..
如何在IntelliJ IDEA中设置JVM参数?
我对使用Kinesis Video Stream时的指令感到困惑 在JVM参数设置为./src/main/demo中运行DemoAppMain.java -Daws.accessKeyId={YourAwsAccessKey} -Daws.secretKey={YourAwsSecretKey} -Djava.library.path={NativeLibraryPath} 用于非
..