将Amazon RDS与Google BigQuery同步 [英] Synchronize Amazon RDS with Google BigQuery

问题描述

人们，我工作的公司在AWS(Amazon RDS)上有一些MySQL数据库.我们正在使用BigQuery进行POC，而我现在正在研究的是如何将基础复制到BigQuery(现有的寄存器和将来的新寄存器).我的疑问是:

People, the company where I work has some MySQL databases on AWS (Amazon RDS). We are making a POC with BigQuery and what I am researching now is how to replicate the bases to BigQuery (the existing registers and the new ones in the future). My doubts are:

• 如何将MySQL表和行复制到BigQuery.有什么工具可以做到这一点(我正在阅读有关Amazon Database Migration Service的信息)?我应该复制到Google Cloud SQL并导出到BigQuery吗?
• 如何复制将来的寄存器?是否可以在MySQL内部创建作业以在预定义数量之后发送新寄存器?例如，在插入1,000个新行(或经过一个时间)之后，触发"某些事件并将新寄存器复制到Cloud SQL/BigQuery?

我最初的想法是转储原始库，将其加载到另一个库中，并使用脚本来侦听新寄存器并将其发送到新库.

My initial idea is to dump the original base, load it to the other and use a script to listen to new registers and send them to the new base.

我已经正确解释了吗?可以理解吗?

Have I explained it properly? Is it understandable?

推荐答案

除了Vadim所说的，您还可以尝试:

In addition to what Vadim said, you can try:

• 将mysqldump转储到s3的CSV文件中(我相信RDS允许这样做)
• 运行"gsutil" Google Cloud Storage实用程序将数据从s3复制到GCS
• 运行"bq load file.csv"以将文件加载到BigQuery

我很想听听您的经历，因此可以私下对我进行ping操作.

I'm interested in hearing your experience, so feel free to ping me in private.

这篇关于将Amazon RDS与Google BigQuery同步的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！