从Amazon dynamoDB加载数据以进行Redshift [英] Loading data from Amazon dynamoDB to redshift

问题描述

我们正在生产中的一个DynamoDB表正在不断更新，我们希望将所有记录从dynamoDB加载到redshift。

We have a DynamoDB table in production that is being continuously updated,we want to load all the records from dynamoDB to redshift.

我们尝试使用copy命令，但是由于新记录不断插入到表中，因此复制命令将永远运行。

we tried using the copy command,but since new records are continuously being inserted in table the copy command runs forever.

我们想知道什么是将动态dynamodb数据加载到redshift的最佳方法。

We want to know what is the best way to load the data from live dynamodb to redshift.

推荐答案

考虑查看 DynamoDB流解决方案。流提供了在每个DynamoDB分区上发生的数据平面事件的有序日志（因此，每个主键的事件都是绝对有序的）。您可以使用 Kinesis客户端库和 DynamoDB流Kinesis适配器将流转换为Redshift。

Consider looking into a DynamoDB Streams based solution. Streams provides an ordered log of the data plane events transpiring on each DynamoDB partition (so events for each primary key are absolutely ordered). You can use Kinesis Client Library and DynamoDB Streams Kinesis Adapter to process the Stream to Redshift.

DynamoDB流是目前处于预览状态，但很快就会普遍可用。

DynamoDB Streams is currently in preview, but should be generally available soon.

这篇关于从Amazon dynamoDB加载数据以进行Redshift的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！