使用 Apache Nifi 将数据从 vertica 传输到 Redshift [英] Transfer data from vertica to Redshift using Apache Nifi

问题描述

我想使用 apache nifi 将数据从 vertica 传输到 redshift.我需要设置哪些处理器和配置?

I want to transfer data from vertica to redshift using apache nifi. which are the processors and configuration I need to set?

推荐答案

如果 Vertica 和 Redshift 有表现良好"的 JDBC 驱动程序，您可以设置一个 DBCPConnectionPool 对于每个，然后是 SQL 处理器，例如 ExecuteSQL, QueryDatabaseTable 或 GenerateTableFetch(后者生成用于 ExecuteSQL 的 SQL).这些会将您的记录转换为 Avro 格式，然后(在 NiFi 1.2.0 之前)您可以使用 ConvertAvroToJSON -> ConvertJSONToSQL -> PutSQL 将您的记录插入到 Redshift 中.

If Vertica and Redshift have "well-behaved" JDBC drivers, you can set up a DBCPConnectionPool for each, then a SQL processor such as ExecuteSQL, QueryDatabaseTable, or GenerateTableFetch (the latter of which generates SQL for use in ExecuteSQL). These will get your records into Avro format, then (prior to NiFi 1.2.0) you can use ConvertAvroToJSON -> ConvertJSONToSQL -> PutSQL to get your records inserted into Redshift.

在 NiFi 1.2.0 中，您可以使用设置 AvroReader 以在 PutDatabaseRecord 中使用.然后您只需要 SQL 处理器从 Vertica 中取出记录，直接到 PutDatabaseRecord 将它们放入 Redshift.

In NiFi 1.2.0, you can use set up an AvroReader for use in PutDatabaseRecord. Then you will only need the SQL processor to get the records out of Vertica, directly to PutDatabaseRecord to put them into Redshift.

这篇关于使用 Apache Nifi 将数据从 vertica 传输到 Redshift的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！