从 Kafka 读取数据到 AWS Redshift 的最佳实践 [英] Best practice for reading data from Kafka to AWS Redshift

问题描述

将数据从 Kafka 集群移动到 Redshift 表的最佳实践是什么?我们有连续数据到达 Kafka，我想将其写入 Redshift 中的表(不必实时).

What is the best practice for moving data from a Kafka cluster to a Redshift table? We have continuous data arriving on Kafka and I want to write it to tables in Redshift (it doesn't have to be in real time).

• 我应该使用 Lambda 函数吗?
• 我是否应该编写一个将在专用 EC2 实例上运行的 Redshift 连接器(消费者)?(缺点是我需要处理冗余)
• 是否有一些 AWS 管道服务可用于此目的?

推荐答案

Kafka Connect 通常用于将数据从 Kafka 流式传输到(或从)数据存储.它可以做一些有用的事情，比如自动管理横向扩展、故障转移、模式、序列化等等.

Kafka Connect is commonly used for streaming data from Kafka to (and from) data stores. It does useful things like automagically managing scaleout, fail over, schemas, serialisation, and so on.

本博客展示了如何使用用于流式传输到 Redshift 的开源 JDBC Kafka Connect 连接器.还有一个 社区 Redshift 连接器，但我没试过.

This blog shows how to use the open-source JDBC Kafka Connect connector to stream to Redshift. There is also a community Redshift connector, but I've not tried this.

本博客 展示了另一种方法，不使用 Kafka Connect.

This blog shows another approach, not using Kafka Connect.

免责声明:我为 Confluent 工作，他创建了 JDBC 连接器.

这篇关于从 Kafka 读取数据到 AWS Redshift 的最佳实践的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！