【故障补牢】贪吃的 Bing 爬虫,限量供应的应对措施
相对于【故障公告】,【故障补牢】分享的是园子在发生故障后采取的亡羊补牢措施。
在上次被微软 Bing 爬宕机后(详见 【故障公告】被放出的 Bing 爬虫,又被爬宕机的园子),我们采取了2个应对措施,然后解除了对 Bing 爬虫的屏蔽。
措施1:限流——采用滑动窗口进行限流
我们之前采用的限流措施没有采用滑动窗口,只能防君子不能防小人,比如限制同一个IP一天只能请求2万次,但如果遇到大胃口的爬虫,1秒请求2万次,虽然没有超过限制,但服务器已趴下。
我们通过 ASP.NET Core 内置的 rate limiting middleware 进行滑动窗口限流,参考博文 ASP.NET Core rate limiting middleware in .NET 7
services.AddRateLimiter(
_ =>
{
_.GlobalLimiter = PartitionedRateLimiter.CreateChained(
PartitionedRateLimiter.Create<HttpContext, string>(
_ => RateLimitPartition.GetSlidingWindowLimiter(
"total",
_ => new SlidingWindowRateLimiterOptions()
{
AutoReplenishment = true,
PermitLimit = limitOptions.TotalPermitLimit,
QueueLimit = 0,
Window = TimeSpan.FromSeconds(limitOptions.WindowSize),
SegmentsPerWindow = limitOptions.WindowSize,
QueueProcessingOrder = QueueProcessingOrder.OldestFirst
})),
PartitionedRateLimiter.Create<HttpContext, string>(
context => RateLimitPartition.GetFixedWindowLimiter(
partitionKey: context.GetUserIp() ?? "unspecified",
factory: _ => new FixedWindowRateLimiterOptions
{
AutoReplenishment = true,
PermitLimit = limitOptions.PermitLimit,
QueueLimit = limitOptions.QueueLimit,
Window = TimeSpan.FromSeconds(limitOptions.WindowSize),
QueueProcessingOrder = QueueProcessingOrder.OldestFirst
})));
_.OnRejected = (context, _) =>
{
context.HttpContext.Response.StatusCode = StatusCodes.Status429TooManyRequests;
return default;
};
});
措施2:隔离——专用 pod 限制计算资源、专用负载均衡限制带宽
借助 k8s 的资源隔离能力,部署专用的 pod 给 Bing 爬虫使用,最多把 pod 爬挂,不会造成服务器宕机,对其他应用 pod 毫无影响。
部署专门的负载均衡给 Bing 爬虫通行,这样可以避免因爬虫抢占带宽而造成其他正常请求无法正常响应,而且可以通过限制带宽控制爬虫的并发请求量以及带宽成本。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 2分钟学会 DeepSeek API,竟然比官方更好用!
· .NET 使用 DeepSeek R1 开发智能 AI 客户端
· autohue.js:让你的图片和背景融为一体,绝了!
· 10亿数据,如何做迁移?
· 推荐几款开源且免费的 .NET MAUI 组件库
2022-05-09 上周热点回顾(5.2-5.8)
2016-05-09 上周热点回顾(5.2-5.8)
2014-05-09 云计算之路-阿里云上:读取缓存时的“黑色0.1秒”
2011-05-09 上周热点回顾(5.2-5.8)