azure-eventhub相关内容

电光结构化流媒体:处理负载是否影响输入率/数字输入记录?

我当前的结构化流应用程序写入一个巨大的Delta表。当我(停止流)并将其指向写入全新的增量表时: 它变得更快-批量持续时间减少了近四分之一 投入率几乎提高了3倍 我知道它可能会变得更快,因为它在旧的/更大的表上执行的任何聚合/写入在新表上都不需要。但投入率的变化我希望有人能解释一下? 源为Azure EventHubs。 谢谢! 推荐答案 回答我自己的问题: ..

具有事件中心触发器的Azure函数写入重复消息

我有一个具有事件中心触发器的Azure函数。此集线器从设备接收消息并将其存储在Blob中。最近,我注意到重复的消息存储在BLOB中。BLOB商店中的文件是按上次修改日期排序的,如果你看一下屏幕截图,你会发现情况并非如此。以前是否有人见过此问题? 我还有一个写入cosmos DB的Azure函数,对于blob中的重复消息,cosmos中没有对应的重复消息。 我还连接了也没有任何重复消息的 ..

我可以更改 Azure 函数事件中心触发器启动检查点吗?

当我建立一个新的 Azure 函数来监听我们的事件中心,并使用一个新的消费者组,它会获取所有发送到事件中心的消息,甚至是几个月前的消息.我认为将集线器上的消息保留时间设置为一天会限制这一点,但显然不是.无论如何,我真的只希望新的 Azure Function 从初始部署或测试点开始接收事件,但是我不知道如何指定初始启动检查点,因为这些东西是由 AF 在存储中神奇地完成的. 如果我手动执行集线 ..
发布时间:2022-01-17 16:41:29 其他开发

多个 Azure EventHub 触发器到 Azure Function 应用中的单个函数

我想从两个不同的 eventthub 中执行相同的功能(根据消息数据进行少量更改). 是否可以将两个消费者组附加到一个函数. 即使我将它添加到 function.json,它也不起作用. 解决方案 简短的回答是否定的.您不能将多个输入触发器绑定到同一个函数:https://github.com/Azure/azure-webjobs-sdk-script/wiki/functi ..
发布时间:2022-01-17 16:26:57 其他开发

Azure 函数的多个触发器

我们有一个带有事件中心触发器的 Azure 函数.是否可以在多个事件中心上为同一个 Azure Function 设置触发器? 解决方案 不,目前不支持此方案. 来自评论(Ling Toh 2017 年 1 月 18 日 18:23):没有计划支持每个函数的多个触发器.您必须为每个 EventHub 创建一个函数.如果函数之间有可能共享的公共代码,您可以将它们移到可以从每个函数调用的 ..
发布时间:2022-01-17 16:21:17 其他开发

Azure 函数 Python |将带有属性的 EventData 消息发送到事件中心输出

我正在编写一个 Azure python 函数,该函数被触发,然后生成多个传出消息.我需要将 EventData (body + properties) 消息发送到 Eventhub.到目前为止,我还没有找到任何方法来使用 EventHub 输出绑定向传出消息添加属性.似乎输出字符串被放入“body"属性中. 我看到的一个可能的解决方案是将 EventHubClient 写入函数中,但这真的 ..
发布时间:2022-01-17 16:21:03 Python

使用 DeviceLifecycleEvents 源的 IoT 中心消息路由不起作用

我已在使用 IoT 中心并已配置消息路由以将 TwinChangeEvents 路由到事件中心.带有 EventHubTrigger 的 Azure 函数处理消息.这工作得很好. 现在,我想配置消息路由以将 DeviceLifecycleEvents 路由到另一个事件中心.同样,另一个带有 EventHubTrigger 的 Azure 函数应该处理这些消息. 但是,当我连接或断开设备 ..
发布时间:2022-01-17 15:58:06 其他开发

Azure 函数使用 Powershell 使用来自事件中心的数据并将其发布到 REST API

我想使用 Powershell 创建一个 Azure 函数,该函数将从 Azure 事件中心读取数据.Azure 函数有一个模板可以从 Azure 事件中心获取数据,但我不知道如何将相同的数据发布到本地托管的 REST API. 我已经为本地连接创建了一个混合连接. 我是 Powershell 开发的新手,因此寻求您的帮助.此外,如果有人可以建议任何博客以获取有关使用 Powershell 的 ..
发布时间:2022-01-17 15:50:07 其他开发

Azure Functions 事件中心触发器绑定

只是有几个关于在 IoT 场景中使用 Azure Functions 和 EventHub 的问题. EventHub 有分区.通常来自特定设备的消息会进入同一分区.Azure Function 的实例如何跨 EventHub 分区分布?是基于性能吗?如果 Azure 函数的一个实例设法处理来自所有分区的事件,那么这就足够了,否则最终每个 EventHub 分区可能只有一个 Azure 函数 ..
发布时间:2021-12-06 19:04:38 其他开发

Azure 事件中心和多个消费者组

在以下场景中需要有关使用 Azure 事件中心的帮助.我认为消费者群体可能是这种情况的正确选择,但我无法在网上找到具体的例子. 这是问题的粗略描述以及使用事件中心的建议解决方案(我不确定这是否是最佳解决方案.感谢您的反馈) 我有多个事件源,它们生成大量事件数据(来自传感器的遥测数据),这些数据需要保存到我们的数据库中,并且一些分析(例如运行平均值、最小值-最大值)应该并行执行强>. ..
发布时间:2021-12-06 18:40:18 其他开发

哪些 Azure .NET SDK EventHubClient 实例方法是线程安全的?

我正在编写代码,用于将来自多个线程的消息发布到 Azure 事件中心 在 C# 中使用 EventHubClient.EventHubClient 的文档包含相当标准的样板. “这种类型的任何公共静态(在 Visual Basic 中共享)成员都是线程安全.不保证任何实例成员都是线程安全." 四个 发送方法我最愿意希望是线程安全的.如果我相信发送方法不是线程安全的,那么每次我希望发送到 ..
发布时间:2021-12-06 18:28:06 其他开发

是什么导致 Azure 事件中心 ReceiverDisconnectedException/LeaseLostException?

我正在使用 EventProcessorHost 和 IEventProcessor 类(称为:MyEventProcessor)从 EventHub 接收事件.我通过在两台服务器上运行我的 EPH 将其扩展到两台服务器,并让它们使用相同的 ConsumerGroup 连接到集线器,但使用唯一的主机名(使用机器名称). 问题是:在白天/黑夜的随机时间,应用程序记录: 异常信息:异常类型:R ..
发布时间:2021-12-06 18:04:43 C#/.NET

Azure IoT 中心 AMQP 通信多路复用

在一些 Microsoft 文档中在使用 Azure IoT 中心时,它提到可以在单个 TLS 连接(使用 AMQP 协议)下多路复用多个设备的通信,用于多个简单设备与一个功能强大的本地中心设备通信的场景物联网中心.是否有任何示例说明如何实现这种多路复用?DeviceClient 库 似乎不支持这一点(尽管我可以错误的).也有人提到了用于此场景的 IoT 网关 SDK,但我还没有找到有关如何使用它 ..
发布时间:2021-11-27 11:49:26 其他开发

EventHubProducerClient 是否提供带有单个 EventData 的 SendAsync?

从官方文档看来,他们只支持批量发送.只是想知道是否存在某些东西(当然除了将一个作为列表发送) 解决方案 EventHubProduerClient 不提供发送单个事件的方法.在新 SDK 的设计过程中,我们了解到许多使用单事件重载的开发人员在对其应用程序的性能和吞吐量产生负面影响的情况下这样做. 遗留重载只是简单地执行了一个隐式的 new[] { yourEvent } 并调用到 I ..
发布时间:2021-11-24 19:26:04 C#/.NET

Kafka 发送到 azure 事件中心

我已经在我的机器上设置了一个 kafka 并且我正在尝试设置 Mirror Maker 以从本地主题消费并将其镜像到一个 azure 事件中心,但到目前为止我一直无法做到,并且我收到以下错误: ERROR 向主题 dev-eh-kafka-test 发送消息时出错,key: null, value: 5 bytes with error: (org.apache.kafka.clients.pr ..

如何在 Eventhub 中配置 Producer.close()

这是以下场景.我有一个发布事件的事件生产者.我参考了 mircosoft 文档 https://docs.microsoft.com/en-us/azure/event-hubs/event-hubs-java-get-started-send 根据我的用例,我有一个 bean,它将在我的应用程序开始时创建 eventhubProducerClient 连接.但是,在发送每个事件后调用我的 ..
发布时间:2021-11-12 03:11:42 其他开发

获取数据时出现意外错误代码 13 Spring-Cloud-Stream Kafka Azure 事件中心 -

它从 12 月 18 日开始突然出现这个问题弹出,找不到任何线索,在正常工作 6 个月后突然出现这个异常是什么原因. 我无法在本地独立复制,但它带有 微服务 的 docker 镜像,其中之一与 Azure 甚至集线器 通信.> 我搜索并找到了这个 发布.在这篇文章中还报告了我面临的同样问题,但找不到任何解决方案或线索,所以我发布了这个问题. 请参考下面的堆栈跟踪: 处理时出错:空 ..

是否可以使用 Apache Beam/Google Cloud Dataflow 从 Azure EventHub 主题中使用?

问题 我们希望使用 Google Cloud 中的数据流管道从 Azure 中的 EventHub 主题进行消费. 问题 是否知道 KafkaIO 是否允许在 Apache Beam/Google Cloud 数据流作业中直接从 EventHub 进行消费?(参见这篇文章) 将 EventHub 数据导入 Pub/Sub 的替代方法也值得赞赏(例如,从 Azure 流分析发 ..