【Azure API 管理】APIM添加Log-to-eventhub的策略后，一些相关APIM与Event Hub的问题

问题描述

1)    APIM 到Event Hub 写入日志是否有数量限制，比如每秒最大写入数量；

2)    是否可以在同一个APIM配置多个Event Hub，如果可以该APIM写入日志的峰值是否可以是N倍，即和Event Hub数量的倍数；

3)    写入Event Hub 达到峰值时，对APIM的影响有哪些，比如SNAT端口消耗，带宽，后端转发，内存等，对APIM整体影响多大？

4)    如果从APIM写入Event Hub的Message峰值远远大于Event Hub可接受的峰值时，是否会对APIM造成堵塞，APIM是否有限制写入Event hub的限制？

5)    APIM写入Event hub的逻辑/原理；

 

问题解答

问题一：APIM 到Event Hub 写入日志是否有数量限制，比如每秒最大写入数量

Event Hub 通过 Throughput Units 配置可以接收的消息数，一个吞吐量单元的入口限制为每秒1000个事件。APIM本身作为一个客户端并不会主动限制发送消息的数量，但是实际使用中会受到内存，处理器，网络带宽的影响。[ Ingress: Up to 1 MB per second or 1000 events per second (whichever comes first). https://docs.microsoft.com/en-us/azure/event-hubs/event-hubs-scalability#throughput-units ]

 

问题二：是否可以在同一个APIM配置多个Event Hub，如果可以该APIM写入日志的峰值是否可以是N倍，即和Event Hub数量的倍数

APIM输出日志到Event Hub需要事先通过REST API配置Logger：https://docs.microsoft.com/en-us/rest/api/apimanagement/2020-12-01/logger/create-or-update#loggertype，文档中并未明确指明仅能创建单个logger。我们理解的是该API可以多次调用，并指定不同的连接字符串（connectionString）以创建多个logger指向不同的EventHub。

配置方法详见 --【Azure API 管理】在APIM 中添加 log-to-eventhub 策略，把 Request Body 信息全部记录在Event Hub中 : https://www.cnblogs.com/lulight/p/15630965.html

注：可以通过调整Event Hub的 Throughput Units 来配置Event Hub 可以处理的消息数量。通常情况下，单个EventHub的处理能力已足以满足绝大多数的应用场景。如果通过创建的多个Event Hub并没别处于不同的命名空间下，那么理论上可以通过叠加提升 Event Hub 侧的处理能力上限。更多时候，需要进行压测检查具体的业务场景下性能瓶颈是否存在，并有针对性的调整客户端（APIM）与服务端（EventHub）使两者处理能力匹配。当在测试中需要通过Trace来查看Log-to-eventhub的执行情况，可以参考博文: https://www.cnblogs.com/lulight/p/15746073.html

 

问题三：写入Event Hub 达到峰值时，对APIM的影响有哪些，比如SNAT端口消耗，带宽，后端转发，内存等，对APIM整体影响多大？

官方文档中描述了APIM在理想状况下的处理能力（Requset per Second)

(Source: https://azure.microsoft.com/en-us/pricing/details/api-management/ )

可以确认的是APIM本身使用独立的公网IP地址，在与EventHub的连接过程中触发SNAT端口耗尽的可能行极小(https://docs.microsoft.com/en-us/azure/api-management/api-management-howto-ip-addresses#ip-addresses-of-api-management-service)。需要注意的是APIM的处理能力会收到多种因素的影响，例如Policy的复杂程度，客户端与APIM以及APIM与后端服务之间的网络连接，并发请求数，请求payload大小等。

PS: 通过AMQP方式连接，使用的端口为5671，5672端口，所以它不会导致APIM 出口IP的SNAT消耗。https://docs.azure.cn/zh-cn/service-bus-messaging/service-bus-amqp-protocol-guide?toc=https%3A%2F%2Fdocs.azure.cn%2Fzh-cn%2Fevent-hubs%2Ftoc.json&bc=https%3A%2F%2Fdocs.azure.cn%2Fzh-cn%2Fbread%2Ftoc.json#amqp-outbound-port-requirements

问题四：如果从APIM写入Event Hub的Message峰值远远大于Event Hub可接受的峰值时，是否会对APIM造成堵塞，APIM是否有限制写入Event hub的限制？

官方文档并未给出具体说明。但根据日志收集的设计理解，logger的写入不会阻塞APIM请求处理的。

 

问题五：请介绍下APIM写入Event hub的逻辑/原理

官方文档未提供关于APIM内部的代码实现的具体细节。但API Management使用的是C#代码，所以可以参考C#的SDK向Event Hub发送消息。

通过代码及SDK向Event Hub发送消息，可以参考文档：https://docs.microsoft.com/en-us/dotnet/api/overview/azure/Messaging.EventHubs-readme#publish-events-to-an-event-hub

var connectionString = "<< CONNECTION STRING FOR THE EVENT HUBS NAMESPACE >>";
var eventHubName = "<< NAME OF THE EVENT HUB >>";

await using (var producer = new EventHubProducerClient(connectionString, eventHubName))
{
    using EventDataBatch eventBatch = await producer.CreateBatchAsync();
    eventBatch.TryAdd(new EventData(new BinaryData("First")));
    eventBatch.TryAdd(new EventData(new BinaryData("Second")));

    await producer.SendAsync(eventBatch);
}