随笔分类 - 【Azure 事件中心】
Azure 中使用Azure Event Hub的各种疑难杂症
摘要：问题描述 China Azure 上是否有Kakfa服务可以使用呢？ 问题回答 China Azure并没有专门的Kafka服务，但是可以使用Azure Event Hub. 创建标准版及以上的Event Hub 默认是支持Kafka连接的，可以将事件从使用 Kafka 协议的应用程序流式传输到标准
阅读全文
摘要：问题描述 使用 Apache Flink 连接支持 Apache Kafka的Azure Event Hub后，由于消费端的Consumer Group是动态创建，在门户页面和Service Bus Explorer工具中均无法查看，所以如何来查看 Kafka consumer group呢？可以参
阅读全文
摘要：问题描述 通过Service Bus Explorer工具，查看到Event Hub的属性值，从而产生的问题及讨论： Size in Bytes: 这个是表示当前分区可以存储的最大字节数吗？ LastEnqueuedOffset: 这个是表示是最后一条消息在这个分区上的字节偏移量吗？ Incomin
阅读全文
摘要：问题描述 使用IOT Hub的Events功能，使用Event Grid(事件网格)订阅IOTHub状态消息，发送到Azure Functions。那如何来创建Event Grid触发的Function呢？ 方案的理论依据 方案的实现 Azure支持多种方式来创建Azure Function（Eve
阅读全文
摘要：问题描述 在Application Gateway中，开启WAF(Web application firewall)后，现在需要把访问的日志输出到第三方分析代码中进行分析，如何来获取WAF的诊断日志呢？ 整体方案的拓扑图如下： 本文在实施中将介绍： 1）如何创建Event Hub Namespace
阅读全文
摘要：问题描述 查阅了Azure的官方文档( 将事件发送到特定分区: https://docs.azure.cn/zh-cn/event-hubs/event-hubs-availability-and-consistency?tabs=java#send-events-to-a-specific-par
阅读全文
摘要：问题详情 使用EPH获取Event Hub数据时，多次出现连接shutdown和LeaseLost的error ，截取某一次的error log如： Time:2021-03-10 08:43:48.4650|NE:VSDN|Machine:RD0003FF01A8BE|Lv:INFO|Activi
阅读全文
摘要：Azure Event Hub(Azure事件中心) 是大数据流式处理平台和事件引入服务。 它可以每秒接收和处理数百万个事件。在我们的使用中，需要代码编写的是两个部分：事件生产者和事件接收者 事件生成者：向事件中心发送数据的所有实体。 事件发布者可以使用 HTTPS、AMQP 1.0 或 Apach
阅读全文
摘要：问题描述 事件中心提供 Kafka 终结点，现有的基于 Kafka 的应用程序可将该终结点用作运行你自己的 Kafka 群集的替代方案。 事件中心可与许多现有 Kafka 应用程序配合使用。在Azure官方提供的Demo中，都是针对Global Azure。以下内容通过实验来一步一步调试并在Azur
阅读全文
摘要：问题描述 IoT Hub 从设备端如何向IOT发送海量数据，可以使用从设备到IOT连接的直接传输吗？还是需要另外开启连接。另外，消息路由和上传文件使用的连接是否就是设备到IOT建立的连接？还是需要额外再创建一个连接？ 如何把IoT Hub中的数据存储到Azure Storage中？ 问题答案 从设备
阅读全文
摘要：问题描述 使用Event Hub消费事件时，出现的各种客户端错误的解读。（再后期遇见新的错误信息，会持续添加进此说明） 一：再Linux中运行Event Hub消费端程序，出现Too many open files 解读：该信息是指java程序打开操作系统文件句柄数超出了操作系统的限制，排查操作系统
阅读全文
摘要：在文章（【事件中心 Azure Event Hub】使用Logstash消费EventHub中的event时遇见的几种异常(TimeoutException, ReceiverDisconnectedException)）中，介绍了使用Logstash连接EventHub时，遇见的两种异常，但是对于
阅读全文
摘要：问题描述 使用EFK（Elasticsearch, Fluentd and Kibana）在收集日志的解决方案中， 可以先把日志发送到EventHub中，然后通过Logstash消费EventHub中的事件并分发出去。但是在使用Logstash的过程中，遇见了连接不上EventHub的错误，和Rec
阅读全文
摘要：问题情形 使用Java SDK编写的Event Hub消费端应用，随机性遇见了某个分区没有消费消息的情况，在检查日志时候，有发现IdelTimeExpired的错误记录。在重启应用后，连接EventHub正常，并又能正常消费数据。比较怀疑的方面，在又开启Retry机制的情况下，为什么分区(Parti
阅读全文
摘要：请问对偶发的定义是多少频率？ 针对偶发的定义，主要是看发生的时间非常短，次数极少(如 10次以内)，并且发生的时候EventHub其他分区或其他连接都是正常接收和发送数据。所以对于频率是没有明确的定义的，这个需要根据每次发生的情况来分析。由于Event Hub SDK都考虑了这样短暂出现连接性的情况
阅读全文
