msn爬虫频繁来访

  这两天大家访问博客园时,有时会遇到"503 Service Unavailable"的错误提示,那是因为msn爬虫频繁访问博客园造成同时连接过多引起的,msn爬虫的UserAgent为:msnbot/1.1 (+http://search.msn.com/msnbot.htm)。为了保证网站的正常访问,我们不得不暂时封了msn爬虫的IP(目前已封了4个IP),但msn爬虫会变身(改变IP)来访,我们会继续关注msnbot的来访。

  博客园曾经因为sohu爬虫、Yahoo爬虫、soso爬虫的频繁来访影响网站的正常运行,现在又多了一个msnbot。

posted @   博客园团队  阅读(3112)  评论(17编辑  收藏  举报
编辑推荐:
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
· C++代码改造为UTF-8编码问题的总结
· DeepSeek 解答了困扰我五年的技术问题
· 为什么说在企业级应用开发中,后端往往是效率杀手?
阅读排行:
· 2分钟学会 DeepSeek API,竟然比官方更好用!
· .NET 使用 DeepSeek R1 开发智能 AI 客户端
· autohue.js:让你的图片和背景融为一体,绝了!
· 10亿数据,如何做迁移?
· 推荐几款开源且免费的 .NET MAUI 组件库
点击右上角即可分享
微信分享提示