从Kafka到AWS Redshift读取数据的最佳实践 [英] Best practice for reading data from Kafka to AWS Redshift

问题描述

将数据从Kafka集群移至Redshift表的最佳实践是什么?我们有连续的数据到达Kafka，我想将其写入Redshift中的表中(不必实时).

What is the best practice for moving data from a Kafka cluster to a Redshift table? We have continuous data arriving on Kafka and I want to write it to tables in Redshift (it doesn't have to be in real time).

• 我应该使用Lambda函数吗?
• 我是否应该编写将在专用EC2实例上运行的Redshift连接器(消费者)?(缺点是我需要处理冗余)
• 是否为此提供一些AWS管道服务?

推荐答案

Kafka Connect通常用于从Kafka到(或从)数据存储流式传输数据.它可以做一些有用的事情，例如自动管理横向扩展，故障转移，模式，序列化等等.

Kafka Connect is commonly used for streaming data from Kafka to (and from) data stores. It does useful things like automagically managing scaleout, fail over, schemas, serialisation, and so on.

此博客显示了如何使用开源JDBC Kafka Connect连接器以流式传输到Redshift.还有一个社区Redshift连接器，但是我没有尝试过.

This blog shows how to use the open-source JDBC Kafka Connect connector to stream to Redshift. There is also a community Redshift connector, but I've not tried this.

此博客显示了另一种方法，未​​使用Kafka Connect.

This blog shows another approach, not using Kafka Connect.

免责声明:我为创建JDBC连接器的Confluent工作.

这篇关于从Kafka到AWS Redshift读取数据的最佳实践的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！