amazon-dynamodb-streams相关内容

来自DynamoDB的AWS Lambda处理流

我正在尝试创建一个lambda函数,该函数使用DynamoDB表中的流。然而,我想知道处理在执行过程中可能因某些错误而未被处理的数据的最佳实践是什么?例如,我的lambda失败,流的一部分,重新处理丢失的数据的最佳方式是什么? 谢谢 推荐答案 DynamoDB Streams为每个事件调用lambda函数,直到它成功处理它(直到代码调用成功回调)。 在执行时出现错误的情况下 ..

暂时禁用 DynamoDB Lambda 触发器/流

我正在寻找一种方法来临时禁用 DynamoDB 上的 Lambda 触发器.我希望能够在不触发 Lambda 代码的情况下对表应用手动更新(例如,从 S3 备份导入数据).我尝试了 lambda 函数“触发器"选项卡中触发器旁边的禁用按钮.我还尝试禁用表的整个流.在这两种情况下,当重新激活触发器/流时,所有的触发器事件(在它们被停用时发生)都会被执行. 如何防止触发此代码? 非常感谢! ..

AWS DynamoDB 流式传输到 Redshift

我们希望将数据从 DynamoDB NoSQL 连续作为流移动到 Redshift 数据库中.我很难理解 AWS 中的所有新术语/技术.有 1) DynamoDB 流 2) AWS Lambda 3) AWS Kinesis Firehose 谁能提供每个的简短摘要.什么是 DynamoDB 流?这与 AmazonKinesis 有何不同?阅读完所有资源后,这是我的假设理解 ..

AWS DynamoDB 流到 Redshift

我们希望将数据从 DynamoDB NoSQL 以流的形式连续移动到 Redshift 数据库中.我很难理解 AWS 中的所有新术语/技术.有 1) DynamoDB 流 2) AWS Lambda 3) AWS Kinesis Firehose 谁能提供每个的简短摘要.什么是 DynamoDB 流?这与 AmazonKinesis 有何不同?看完所有资源,这是我的假设理解 ..

跨账户实时复制DynamoDB表数据

将数据从一个帐户中的 DDB 表复制到另一个帐户的最简单方法是什么(最简单意味着服务维护开销较少.如果可能,更喜欢无服务器方法)将数据从一个帐户中的 DDB 表复制到另一个帐户,最好以无服务器方式(因此没有计划的作业使用数据管道). 我正在探索使用 DynamoDB 流的可能性,但是这个旧的 answer 提到这是不可能的.但是,我找不到确认/反驳这一点的最新文档.还是这样吗? 我正在 ..

Kinesis Stream 和 DynamoDB 流之间的区别

他们似乎对我做同样的事情.谁能给我解释一下区别? 解决方案 两者的高层次区别: Kinesis Streams 允许您生成和使用大量数据(日志、Web 数据等),其中 DynamoDB Streams 是 DynamoDB 的本地功能,允许您以查看对 DynamoDB 表项的精细更改. 更多详情: 亚马逊 Kinesis Streams Amazon Kinesis ..
发布时间:2021-11-27 10:20:11 其他开发

如何使用 DynamoDB 进行基本聚合?

如何使用 dynamodb 实现聚合?Mongodb 和 couchbase 有 map reduce 支持. 假设我们正在构建一个技术博客,用户可以在其中发布文章.并说文章可以被标记. 用户{编号:1235,姓名:“约翰",...}文章{编号:789,标题:“dynamodb 用例",作者:12345//用户名标签: ["dynamodb","aws","nosql","文档数据库"]} ..

如何在Dynamo db中以DynamoDBAutoGeneratedKey作为哈希密钥的Dynamo数据库性能调整我的表,因为每次插入时PutRequest都变慢

我正在使用dynamo db表来保存API请求的事务性数据.我要维护两张桌子1.日程安排-以SId作为哈希键2.摘要-使用DynamoDBAutoGeneratedKey(UUID)作为哈希键,并将SId作为其属性. 计划表在每个请求中填充一行,而摘要表在每个SId和唯一的UUID中填充10个项目 我们正在对这两个表进行负载测试,可以观察到调度表的性能很好,但是汇总表在PutReque ..

如何将Apache流与DynamoDB流一起使用

我们有一个要求,每当向最终用户投放广告时,我们都将事件记录在DynamoDB表中.dynamoDB表中每秒有250次以上写入该表. 我们希望将这些数据汇总并移动到Redshift进行分析. 我假设在表中进行的每个插入都会调用DynamoDB流.我如何将DynamoDB流馈送到某种批次中,然后处理这些批次.围绕此类用例是否有最佳实践? 我正在阅读有关Apache Spark的信息, ..

lambda容器到期时,有没有一种关闭mongo连接的好方法?

我正在使用AWS-lambda处理程序将dynamoDB流写入mongoDB.我想在处理程序外部定义db连接,以便基于我们预期的吞吐量,请求可以重用相同的连接.如果不正确处理连接,lambda容器的问题将过期. 有人知道这个问题有什么好的解决方案吗?本质上可以归结为“我想使用连接池而不最大化连接限制" 解决方案 当我遇到此问题时,我发现了两种解决方案: “最佳实践"-为每个La ..

暂时禁用DynamoDB Lambda触发器/流

我正在寻找一种方法来暂时禁用DynamoDB上的Lambda触发器.我希望能够在不触发Lambda代码的情况下在表上应用手动更新(例如,例如从S3备份导入数据).我尝试了lambda函数“触发器"(Trigger)选项卡中触发器旁边的禁用按钮.我还尝试禁用表的整个Stream.在这两种情况下,当重新激活触发器/流时,所有触发事件(在它们被停用时发生的事件)都将被执行. 如何防止此代码被触发? ..

读取AWS Dynamodb流

我想使用DynamoDB流在S3上进行增量DynamoDB备份。我有一个lambda,它读取dynamodb流并将文件写入S3。为了标记已读的碎片,我将ExclusiveStartShardId登录到配置文件中。 我要做的是: 描述流(使用记录的ExclusiveStartShardId) 获取流的分片 对于所有已关闭的分片(具有EndingSequenceNumber)我执行以下 ..
发布时间:2020-06-05 18:30:57 其他开发

Kinesis Stream和DynamoDB流之间的区别

他们似乎在对我做同样的事情。有人可以向我解释这些区别吗? 解决方案 两者之间的高度差异: Kinesis Streams 允许您生成和使用大量数据(日志,Web数据等),其中 DynamoDB Streams 是DynamoDB的本地功能,允许您查看DynamoDB表项目的细粒度更改。 更多详细信息: Amazon Kinesis Streams Amazon Ki ..
发布时间:2020-06-05 18:30:52 其他开发

AWS Glue:如何使用各种模式处理嵌套JSON

目标: 我们希望使用AWS Glue数据目录为S3存储桶中的JSON数据创建一个表,然后通过Redshift查询和解析频谱。 背景: JSON数据来自DynamoDB Streams,并且深度嵌套。 JSON的第一级具有一致的元素集:密钥,NewImage,OldImage,SequenceNumber,近似CreationDateTime,SizeBytes和EventName。唯一的 ..

实时复制DynamoDB表数据跨帐户

最简单的方法是什么(最简单的方法意味着较低的服务维护开销。如果可能,最好使用服务器较少的方法)将数据从一个帐户的DDB表复制到另一个帐户,最好以服务器较少的方式复制(因此不使用任何计划的作业)数据管道)。 我正在探索使用DynamoDB流的可能性,但是这个旧的 answer 提到这是不可能的。但是,我找不到最新的文档来确认/证明这一点。还是这样吗? 我正在考虑的另一种选择:更新操作的F ..

如何订阅DynamoDB中的更改

我不知道如何订阅DynamoDB数据库中的更改。让我举一个例子:用户A向用户B发送一条消息(保存在数据库中),然后在用户B的应用程序中自动出现该消息。 我知道最近发布的AWS AppSync可以做到这一点,但是我无法将其与Ionic(正在使用)集成。但是,自从AWS AppSync仅在2017年底/ 2018年初发布以来,就必须有其他选择。 我还在DynamoDB中看到过一种称为Str ..

使用Lambda的DynamoDB流,如何按逻辑组顺序处理记录?

我想使用DynamoDB流+ AWS Lambda处理聊天消息。有关同一会话 user_idX:user_idY (一个会议室)的消息必须按顺序处理。全局排序并不重要。 假设我以正确的顺序(room:msg1,room:msg2等)提供DynamoDB,如何保证Stream将提供AWS Lambda顺序执行,并保证了在单个流中处理相关消息(房间)的顺序? 示例,考虑到我有2个分片,如何 ..
发布时间:2020-06-04 00:28:09 其他开发

适用于AWS DynamoDB流的挂钩

AWS DynamoDB提供流,可帮助捕获表活动。据我了解,捕获梦中变化的流程是 Stream ARN->;碎片-> shardIterator->记录。为了使应用程序监视Dynamo表上的更改,它必须继续执行上述周期。我想知道是否可以通过可以监视那些更改并触发应用程序可以监听的钩子来简化此流程。我知道有一个可以执行上述周期和警报的AWS Lambda集成,但是我想知道应用程序是否可以侦听AWS ..