随笔分类 - 【Azure 事件中心】
Azure 中使用Azure Event Hub的各种疑难杂症
摘要：问题描述 使用Python SDK（Confluent）相关方法获取offset或lag时, 提示SSL相关错误, 是否有更清晰的实例以便参考呢？ 问题解决 执行代码，因为一直连接不成功，所以检查 confluent_kafka 的连接配置，最后定位是 sasl.password 值设置有误。此处，
阅读全文
摘要：问题描述 在使用Java 代码向 Azure Event Hub发送数据时，先后遇见了如下两种异常消息： 1）ERROR c.t.d.h.s.source.EventHubLogConsumer - Error occurred in partition processor for partitio
阅读全文
摘要：问题描述 因为一些特殊原因，Event Hub 里面堆积了很多不需要的数据事件，正常要等事件中的过期时间到后才有Event Hub自动删除掉，但希望能够尽快马上删除，有没有什么手动的方法吗？ 问题解答 Event Hub是一个数据事件处理服务，最主要的功能就是：接收和发送事件。它并不是一个数据存储服
阅读全文
摘要：问题描述 在使用Azure Event Hub的SDK时候，常规情况下，发现示例代码中并没有SDK内部的日志输出。因为在Java项目中，没有添加 SLF4J 依赖，已致于在启动时候有如下提示： SLF4J: Failed to load class "org.slf4j.impl.StaticLog
阅读全文
摘要：问题描述 参考Github上 Event Hub的示例代码（Using Apache Flink with Event Hubs for Apache Kafka Ecosystems : https://github.com/Azure/azure-event-hubs-for-kafka/tre
阅读全文
摘要：2022-11-03 10:58:21.474 INFO --- [pool-7-thread-1] c.a.m.e.PartitionBasedLoadBalancer []: Load balancer already running
2022-11-03 10:58:51.014 WARN --- [ parallel-2] c.a.m.e.PartitionBasedLoadBalancer []: Load balancing for event processor failed. Did not observe any item or terminal signal within 60000ms in 'flatMapMany' (and no fallback has been configured)
阅读全文
摘要：问题描述 Event Hub中有个retention的设置为7天，有没有办法增大这个Retention的时间? 如果没办法，是不是超过7天的数据就会被删除？ 问题解答 因为Azure Event Hub(事件中心)是一个实时事件流引擎，其设计意图并不是用于代替数据库以及/或者用作无限期保存的事件流的
阅读全文
摘要：问题描述 根据Azure Event Hub示例文档，[将 Apache Flink 与适用于 Apache Kafka 的 Azure 事件中心配合使用]，配置好 consumer.config 文件后，为什么不能自动消费Event Hub中存储的旧数据呢？ 如果发送端(生产者)没有任何消息输出，
阅读全文
摘要：问题描述 在使用Event Hub SDK消费数据过程中，出现大量的Timeout Exception，详细消息为： com.microsoft.azure.eventhubs.TimeoutException: Entity(xxxxxx): Send operation timed out at
阅读全文
摘要：问题描述 当通过Azure Event Hub SDK消费Event Hub中的消息时，必须指定一个Storage Account（存储账号）用于保存 Checkpoint (检查点)。 比如在C#代码中，需要指定Storage Account Connection String 和一个Blob C
阅读全文
摘要：问题描述 当使用SDK连接到Azure Event Hub时，最常规的方式为使用连接字符串。这种做法参考官网文档就可成功完成代码:https://docs.azure.cn/zh-cn/event-hubs/event-hubs-java-get-started-send 只是，如果使用Azure
阅读全文
摘要：问题描述 关于Event Hub（事件中心）的灾备方案，大多数就是新建另外一个备用的Event Hub，当主Event Hub出现不可用的情况时，就需要切换到备Event Hub上。 而在切换的过程中，难点在于如何让客户端应用无感知的切换到备份Event Hub，以前的方案有两种： 1：在自己DNS
阅读全文
摘要：Timeout Exception: Expiring 18 record(s) for xxxxxxx: 79823 ms has passed since last append
阅读全文
摘要：问题描述 使用Azure Event Hub的Java SDK 作为消费端消费消息，集成在项目中后，发现大量日志产生，并且都是Debug 级别日志，如何来关闭这部分日志输出呢？ import com.azure.messaging.eventhubs.EventHubClientBuilder; i
阅读全文
【Azure 事件中心】Spring Boot 集成 Event Hub(azure-spring-cloud-stream-binder-eventhubs)指定Partition Key有异常消息
摘要：问题描述 在Spring Boot应用中集成Event Hub，发送消息时指定Partition Key，日志中发现异常： 应用使用Event Hub版本为 <dependency> <groupId>com.azure.spring</groupId> <artifactId>azure-spri
阅读全文
摘要：问题描述 使用Kafka消费Azure EventHub中数据，遇见消费慢的情况可以如何来调节呢？ 问题解答 查看Kafka Consumer的配置参数，其中最只要的一个参数为：max.poll.records， 表示Consumer每次调用poll()时取到的records的最大数。一般情况，在增
阅读全文
摘要：问题描述 在Azure Function App中消费Event Hub数据，时常出现EventReceiveError：New receiver 'P3-00122a562-4fa4-7f3f-ad5e-6241adb34b15' with higher epoch of '0' is creat
阅读全文
摘要：问题描述 如何查看事件中心的消息中具体报文内容呢？ 问题解答 正常情况是通过 Event Hub 的消费端获取消息进行处理查看，但是没有客户端代码的情况下，也可以通过微软的默认客户端Service Bus Explorer来查看。 方式一：登录到Service Bus Explorer后，选择Act
阅读全文
摘要：问题描述 EventHub 中同一条消息，不停的推送给消费端，查看日志发现错误: Caused by: com.azure.messaging.eventhubs.implementation.PartitionProcessorException: Error in event processin
阅读全文
摘要：问题描述 Azure Event Hub 在标准版以上就默认启用的Kafka终结点，所以可以通过Apache Kafka协议连接到Event Hub进行消息的生产和消费。通过示例代码下载到本地运行后，发现没有 Kafka Producer 的详细日志输出。当查看SDK源码中，发现使用的是 org.s
阅读全文
