azure-eventhub相关内容

将事件路由到eventhub EventProcessor

我有不同类型的事件.例如,某些数据是遥测数据,某些数据是错误信息等. 我认为创建多个IEventProcessor实现是一个好主意,每种事件类型都实现一个.因此,每个实现将以不同的方式处理事件.就像写入文件或数据库一样. 将事件路由到特定EventProcessor的最佳方法是什么? 我应该让EventProcessor监视特定的分区键吗? 我应该使用EventProcesso ..
发布时间:2020-09-17 03:43:17 其他开发

EventHub异常:无法为当前会话或连接分配更多的句柄

我有一个C#控制台应用程序,通过它我经常将数据发送到事件中心.该控制台应用程序基本上从SQL存储中读取一些数据,然后开始将数据推送到事件中心. 整个程序以无休止的循环/时尚的方式运行,就像在while控件中一样,只要它接收到SQL中的任何数据,就会从那里提取数据并开始发送到事件中心. 但是有一段时间我遇到了这个错误. “无法为当前会话或连接分配更多的句柄.允许的最大句柄数为499 ..
发布时间:2020-09-17 03:43:13 其他开发

为什么不总是为事件中心分区的最大数量配置?

Azure事件中心概述文章指出以下: 在创建事件中心时指定分区数 且必须介于8到32之间.分区是数据组织 机制,并且与下游并行度有关 消费应用程序所需的资源比事件中心的吞吐量要高.这 直接在事件中心中选择分区数 与您预期拥有的并发阅读器数量有关.后 创建事件中心时,分区计数不可更改;你应该 根据长期预期规模考虑此数字.你可以 通过联系Azure服务总线来增加32个分区的限制 团队. 由 ..
发布时间:2020-09-17 03:43:10 其他开发

Azure IoT中心-保存遥测最佳实践

我正在研究一种可以保存天气数据的物联网解决方案. 我已经用几天的时间在Google上搜索如何设置后端. 我将使用Azure IoT中心来处理通信,但是下一步就是问题. 我想将遥测存储到数据库中.这就是我感到困惑的地方. 一些示例说我应该使用Azure BLOB存储或Azure Table存储或Azure SQL. 经过几年的数据收集,我想开始创建数据报告.因此,存储需要善于处理大数据. ..

事件中心是否应具有与吞吐量单位相同的分区数?

对于Azure事件中心1,尽管放置单位等于1MB/秒的入口.因此,它可以接收1000条1 KB的消息.如果我选择5个或更多吞吐量单位,我是否能够以4个分区接收5000消息/秒,每秒1KB大小?在这种情况下,出口将是什么?我不确定Event Hub分区的限制,我读到它也是1MB/sec.但这是否意味着要有效使用事件中心,我需要具有相同数量的分区? 解决方案 伟大的Qstn! 1个Thr ..
发布时间:2020-09-17 03:43:02 其他开发

Azure Event Hub邮件保留似乎不起作用

我们在发送到中心的事件中包括日期.每当我通过新的使用者组将新的Azure功能连接到我们的事件中心时,它似乎都会收到发送到中心的所有事件.这在某种程度上是可以预期的,但是我将集线器上的“邮件保留"设置为1天,因此我希望最多可以为新用户接收一天的事件,但似乎可以接收到所有 all 事件,根据消息中的日期,甚至是数月前的事件,而且一天中产生的事件比我们多得多. 基于此页面: https:// ..
发布时间:2020-09-17 03:42:59 其他开发

仅从单个设备处理Azure IoT中心事件

我正在尝试解决以下问题:部署数千个IoT设备,将所有事件记录到Azure IoT中心,然后仅读取单个deviceid创建的事件. 我一直在玩EventProcessorHost以使类似的工作正常进行,但到目前为止,我只能看到一种从所有设备读取 all 消息的方法./p> 读取所有消息并过滤客户端是不可行的解决方案,因为可能有数百万条消息. 解决方案 Azure IoT中心的主要目的 ..
发布时间:2020-09-17 03:42:55 其他开发

将数据发送到Azure事件中心时可以指定日期和时间吗?

这是场景.我不使用实时数据.取而代之的是,我从电力公司那里获得了过去一天的用电量数据.具体来说,过去一天的每一小时,我每天可以获得每小时的千瓦时数. 因此,我想每天第二天将此过去的信息加载到活动中心.这可行吗?事件中心是否支持加载过去的信息,或者仅永久保留实时流数据,而不能加载过去的数据? 恐怕就是这种情况,因为我在能找到的有限api文档中没有看到任何日期规范.我想确认一下,但是... ..
发布时间:2020-09-17 03:42:54 其他开发

是否可以在多个请求中重用EventHubProducerClient

我正在利用Azure SDK的服务将遥测数据记录到Azure事件中心.我的客户端应用程序调用一个API终结点,该终结点实例化EventHubProducerClient以将数据记录到事件中心.我正在管理许多api调用,并且想知道EventHubProducerClient是否可以在多个调用之间重用,还是应该在每个调用中使用新的实例. 解决方案 是. EventHubProducerClie ..
发布时间:2020-09-17 03:41:51 其他开发

Azure Event Hub是否保证至少交货一次?

我正在构建一个天蓝色的Web应用程序,我想将活动日志发送到Azure Event Hub.如果应用程序主机与事件中心之间的连接丢失,会发生什么?事件中心客户端是否实现某种本地队列? 解决方案 TLDR:是. EventHubs提供至少一次交付. EventHub客户端SDK不维护任何队列.它将抛出,并且从属应用程序将需要重试发送. EventHubs服务保证至少一次交付. 仅当客户端 ..
发布时间:2020-09-17 03:41:48 其他开发

了解eventhub中的检查点

我想确保,如果我的eventhub客户端崩溃(当前是一个控制台应用程序),它只会拾取尚未从eventhub中获取的事件.实现此目的的一种方法是利用偏移量.但是,(据我所知)这需要客户端存储最新的偏移量(事件似乎不一定会按SequenceNumber排序到ProcessEventsAsync方法的foreach循环). 一种替代方法是使用检查点.我认为它们是使用提供的存储帐户凭据通过服务器(e ..
发布时间:2020-09-17 03:41:40 C#/.NET

将Azure事件中心与Data Lake Store连接

将数据从事件中心发送到Data Lake Store的最佳方法是什么? 解决方案 我假设您希望定期将数据从EventHubs提取到Data Lake Store.就像Nava所说的那样,您可以使用Azure流分析将数据从EventHub获取到Azure存储Blob.之后,您可以使用Azure数据工厂(ADF)定期将数据从Blob复制到Azure数据湖存储.有关使用ADF的更多详细信息,请参 ..
发布时间:2020-09-16 23:58:33 其他开发

将Azure Blob存储事件通知发送到另一个帐户的事件中心

在Azure中,我试图将事件通知从一个Active Directory中的存储帐户发送到另一个Active Directory中的事件中心. 我在弄清楚如何共享/链接资源时遇到了麻烦. 在AWS中,我能够通过在接收方帐户中创建角色,按ID添加源帐户,添加SQS Writer资源许可权以及将SQS队列ARN添加为存储桶通知目标来实现这一点.我猜想Azure中可能有类似的事情. 目前 ..

是否应该在消息类型上拆分事件中心?

我正在考虑将Azure事件中心用于当前正在处理的项目.今天,我们将服务总线队列用于命令,在这里,每种消息类型使用一个队列. 拥有多个事件中心是否有意义,还是对多个消息类型使用一个中心更好? 解决方案 这是一个需要权衡的问题,需要对您现在和将来要构建的系统以及它们如何使用不同的事件类型进行判断./p> 以下摘录自一些指南 Jay Kreps已经给出了在Apache Kafka之上设计 ..
发布时间:2020-09-16 01:50:35 其他开发

如何设置EventProcessorHost从现在开始读取事件(UTC)?

我们正在使用EventProcessorHost接收来自Azure EventHubs的事件.我一直没有成功尝试配置它(通过EventProcessorOptions.InitialOffsetProvider)以从UTC读取事件,但是它始终从提要的开始读取.我没有保存检查点(甚至删除了创建的BLOB容器). 这是我的设置方式: DateTime startDate = DateTime.U ..
发布时间:2020-09-16 00:59:12 其他开发

高吞吐量发送到EventHubs导致MessagingException/TimeoutException/服务器无法处理请求错误

我们遇到了很多这样的异常,它们在高峰流量期间向EventHubs发送事件: “无法将事件发送到EventHub.异常:Microsoft.ServiceBus.Messaging.MessagingException:服务器无法处理请求;请重试该操作.如果问题仍然存在,请与服务总线管理员联系并提供跟踪ID." 或者 “无法将事件发送到EventHub.异常:System.TimeoutExc ..
发布时间:2020-09-16 00:46:33 其他开发

Azure Functions事件中心触发器绑定

关于在物联网场景中将Azure功能与EventHub结合使用仅存在几个问题. EventHub具有分区.通常,来自特定设备的消息会转到同一分区. Azure函数的实例如何跨EventHub分区分布?是基于性能吗?如果一个Azure Function实例设法处理所有分区中的事件,那么这就足够了,否则每个EventHub分区可能会以一个Azure Function实例结束? 读取偏移量如何?此 ..
发布时间:2020-09-16 00:40:09 其他开发

是什么导致Azure事件中心Hub ReceiverDisconnectedException/LeaseLostException?

我正在使用EventProcessorHost和IEventProcessor类(称为:MyEventProcessor)从EventHub接收事件.通过在两台服务器上运行我的EPH,并使用相同的ConsumerGroup,但使用唯一的hostName(使用计算机名),将它们连接到集线器,将其扩展到两台服务器. 问题是:白天/晚上的随机时间,应用会记录以下内容: Exception i ..
发布时间:2020-09-16 00:15:25 C#/.NET