将数据从 Amazon Aurora 同步到 Redshift [英] Sync data from Amazon Aurora to Redshift

问题描述

我正在尝试在 AWS Aurora 和 Redshift 之间设置同步.实现这种同步的最佳方法是什么?

I am trying to setup a sync between AWS Aurora and Redshift. What is the best way to achieve this sync?

可能的同步方式是:-

1. 查询表以查找表中的更改(因为我只执行插入操作，更新无关紧要)，将这些更改导出到 S3 存储桶中的平面文件并使用 Redshift 复制命令插入到 Redshift 中.

1. Query table to find changes in a table(since I am only doing inserts, updates don't matter), export these changes to a flat file in S3 bucket and use Redshift copy command to insert into Redshift.

使用 python 发布者 和 Boto3 将更改发布到 Kinesis 流中然后在 Firehose 中使用这个流，我可以从那里直接复制到 Redshift.

Use python publisher and Boto3 to publish changes into a Kinesis stream and then consume this stream in Firehose from where I can copy directly into Redshift.

使用 Kinesis Agent 检测 binlog 中的更改(是否可以使用 Kinesis Agent 检测 binlog 中的更改)并将其发布到 Firehose，然后从那里复制到 Firehose.

Use Kinesis Agent to detect changes in binlog (Is it possible to detect changes int binlog using Kinesis Agent) and publish it to Firehose and from there copy into Firehose.

我还没有探索过 AWS Datapipeline.

I haven't explored AWS Datapipeline yet.

推荐答案

正如@Mark B 所指出的，AWS Database Migration Service 可以在数据库之间迁移数据.这可以作为一次性练习完成，也可以连续运行，保持两个数据库同步.

As pointed out by @Mark B, the AWS Database Migration Service can migrate data between databases. This can be done as a one-off exercise, or it can run continuously, keeping two databases in sync.

文档显示Amazon Aurora 可以作为来源 和 Amazon Redshift 可以作为目标.

这篇关于将数据从 Amazon Aurora 同步到 Redshift的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！