需要使用 Kakfa Connect 将小型 JSON 消息从 Kafka 移动到 HDFS，但不使用 Confluent 库(如果不是完全免费) [英] Need to move small JSON messages from Kafka to HDFS with Kakfa Connect but without using Confluent libs, if not completely free

问题描述

我想使用 Kakfa Connect 将 JSON 消息从 Kafka 移动到 HDFS，然后是 Impala，仅使用开源库.

I'd like to use Kakfa Connect to move JSON messages from Kafka to HDFS and then Impala, only using OpenSource libs.

我试图了解是否可以将 Confluent Sink 库用于 Kakfa Connect，而无需使用整个 Confluent 发行版.

I was trying to understand if I can use the Confluent Sink library for Kakfa Connect, without the need to use the entire Confluent distribution.

是否有其他和/或更好的选择来实现这一目标?

Are there are other and/or better options to achieve this?

推荐答案

Kafka Connect HDFS 2 Sink 在 Confluent 社区许可证下可用.它是 Apache Kafka 的插件；您不必运行 Confluent Platform 即可使用它.

The Kafka Connect HDFS 2 Sink is available under the Confluent Community Licence. It is a plugin for Apache Kafka; you do not have to run Confluent Platform to use it.

这篇关于需要使用 Kakfa Connect 将小型 JSON 消息从 Kafka 移动到 HDFS，但不使用 Confluent 库(如果不是完全免费)的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！