是否可以使用 Apache Beam/Google Cloud Dataflow 从 Azure EventHub 主题中使用? [英] Is it possible to consume from an Azure EventHub topic using Apache Beam / Google Cloud Dataflow?

问题描述

问题

我们希望使用 Google Cloud 中的数据流管道从 Azure 中的 EventHub 主题进行消费.

We'd like to consume from an EventHub topic in Azure using a dataflow pipeline in Google Cloud.

问题

是否知道 KafkaIO 是否允许在 Apache Beam/Google Cloud 数据流作业中直接从 EventHub 进行消费?(参见这篇文章)

Is it known whether KafkaIO allows for consuming from EventHubs directly in an Apache Beam/Google Cloud dataflow job? (see this post)

将 EventHub 数据导入 Pub/Sub 的替代方法也值得赞赏(例如，从 Azure 流分析发布到 Pub/Sub)

Alternative approaches for getting the EventHub data into Pub/Sub are also appreciated (e.g. Publish from Azure Streaming Analytics to Pub/Sub)

谢谢！

推荐答案

Azure Event Hubs 支持 Apache Kafka 协议 1.0 及更高版本，因此您应该能够使用 KafkaIO(支持 Kafka 0.10.1 及更新版本).Google Cloud 在 Dataflow 中提供了处理来自 Kafka 的消息的指南 这里.

Azure Event Hubs supports the Apache Kafka protocol 1.0 and later, so you should be able to consume events from Event Hubs using KafkaIO (which supports Kafka versions 0.10.1 and newer). Google Cloud has a guide for processing messages from Kafka in Dataflow here.

这篇关于是否可以使用 Apache Beam/Google Cloud Dataflow 从 Azure EventHub 主题中使用?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！