随笔分类 - 【Azure 事件中心】
Azure 中使用Azure Event Hub的各种疑难杂症
摘要:2025-02-18T13:08:34.399+08:00 ERROR 35416 --- [io-8080-exec-41] o.a.c.c.C.[.[.[/].[dispatcherServlet] :
Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed: reactor.core.publisher.Sinks$EmissionException:
Spec. Rule 1.3 - onSubscribe, onNext, onError and onComplete signaled to a Subscriber MUST be signaled serially.] with root cause
阅读全文
摘要:Azure closes inbound Transmission Control Protocol (TCP) idle > 240,000 ms, which can result in sending on dead connections (shown as expired batches because of send timeout).
阅读全文
摘要:问题描述 Event Hub消费端消费事件延迟,并且有重新分配分区等行为,讨论这种现象的可能原因。 问题解答 Event Hub 如果有大量的 Rebalancing 请求,就会导致事件消费延迟。 而Rebalance的原因也与服务端和消费端的心跳探测有关,如果服务端失去了消费端的心跳请求,触发 R
阅读全文
摘要:问题描述 遇见一个诡异的现象。在Event Hub 事件中心中删除了一个Event Hub后,会立马被重建,多次删除发现都是同样的问题。 这是什么情况呢? 问题解答 经过对Event Hub调查发现,使用了Kafka客户端持续的发送/消费事件。而Kafka客户端自带属性auto.create.top
阅读全文
摘要:问题描述 在使用Azure Event Hub的过程中,需要监控消费端是否正常消费数据?而常规的指标只有 Incoming Message, Outgoing Message,是否指标能表明当前Event Hub消费滞后,即 Incoming 数量远远大于 Outgoing呢? IncomingMe
阅读全文
摘要:问题描述 在上一次的博文中,我们提到了使用“ 【Azure Logic App】使用Event Hub 连接器配置 Active Directory OAuth 认证无法成功连接到中国区Event Hub ” 无法成功连接到Event Hub,报错 “ 2024-08-17T08:40:30Z [E
阅读全文
摘要:问题描述 原生应用中使用RabbitMQ,是否可以不改动代码的情况下直接转换为使用Azure Event Hub呢? 问题解答 Rabbit MQ使用的协议是AMQP 0-9-1,而Azure Event Hub 或 Service Bus 使用的是AMQP1.0,所以无法直接复用之前的代码。需要使
阅读全文
摘要:问题描述 创建Event Hub服务后,标准版的定价层功能中有Schema Registry的功能,但是根据官方文档,在门户中确无法创建。 问题解答 什么是 Azure 架构注册表?Azure 架构注册表是事件中心的一项功能,它为事件驱动的应用程序和以消息为中心的应用程序的架构提供一个中心存储库。
阅读全文
摘要:问题描述 使用Service Bus SDK编写消费端应用时,遇见了错误信息: SDK版本 <dependency> <groupId>com.azure</groupId> <artifactId>azure-messaging-eventhubs</artifactId> <version>5.
阅读全文
摘要:com.azure.core.amqp.exception.AmqpException: Exceeded the maximum number of allowed receivers per partition in a consumer group which is 5.
List of connected receivers - ff7e6a04-43a4-4d50-ae86-e0586297f60c, ff7e6a04-43a4-4d50-ae86-e0586297f60c, ff7e6a04-43a4-4d50-ae86-e0586297f60c, ff7e6a04-43a4-4d50-ae86-e0586297f60c, ff7e6a04-43a4-4d50-ae86-e0586297f60c.
阅读全文
摘要:问题描述 在Event Hub的门户页面中,可以通过Process Data页面查看Event Hub中的数据,但是当使用JSON格式预览时(View in JSON),却出现错误。 消息一: No data was found for preview from 'test01'. Make sur
阅读全文
摘要:问题描述 在使用Azure Service Bus的时候,我们可以根据Queue中目前存在的消息数来判断当前消息是否有积压的情况。 但是,在Event Hub中,因为所有消息都会被存留到预先设定的保留时间(默认是7天), 所以无法通过消息数来判断当前的消息是否有积压或者是有多余重复消费。 当消费端出
阅读全文
摘要:问题描述 Azure Event Hubs -- Kafka 生产者发送消息存在延迟接收和丢失问题, 在客户端的日志中发现如下异常: 2023-06-05 02:00:20.467 [kafka-producer-thread | producer-1] ERROR com.deloitte.com
阅读全文
摘要:问题描述 使用Azure Event Hub服务,除了正常的生产,消费消息以外,如果想拿到Event Hub中存储的历史消息?有什么方法呢? 问题解答 获取 Event Hubs 存储的历史消息,首先需要确保消息进入Event Hub的时间处于保留期限(Retention Days)内,因为超过这个
阅读全文
摘要:问题描述 哪些客户端 IP 正在向/从Azure Event Hub发送/接收事件?如何来查看Event Hub的生产者端,消费者端的IP地址呢? 问题解答 如果需要查看Event Hub 服务端的日志,可以在Azure门户上开启诊断日志来查看。默认情况下,我们并不能看见Event Hub的生产者,
阅读全文
摘要:问题描述 Azure Event Hub支持 kafka,所以为了测试消息生产者所在环境与Azure Event Hub之间发送消息的性能如何,特别使用 kafka 官方测试生产者,消费者的性能工具 : kafka-producer-perf-test.bat kafka-consumer-perf
阅读全文
摘要:Spec. Rule 1.3 - onSubscribe, onNext, onError and onComplete signaled to a Subscriber MUST be signaled serially
阅读全文
摘要:问题描述 Azure Event Hub 在消费数端中,经常性遇见 Expired Heartbeat 错误 (consumer-xxxxxxxxxxxxx-c84873c6c828e8df6c843861ad36affb from group xxxxxxxxxxxx due to expired
阅读全文
摘要:问题描述 如何在App Service for Windows(.NET Stack)中,如何实现反向代理呢? 正向代理:客户端想要访问一个服务器,但是它可能无法直接访问这台服务器,这时候这可找一台可以访问目标服务器的另外一台服务器,而这台服务器就被当做是代理人的角色 ,称之为代理服务器,于是客户端
阅读全文
摘要:问题描述 通过 az rest --method get 如何获得Event Hub Entity 级的统计指标? 问题解答 查阅文档 https://learn.microsoft.com/en-us/rest/api/monitor/metrics/list?tabs=HTTP , 可以通过 f
阅读全文