msn爬虫频繁来访

  这两天大家访问博客园时,有时会遇到"503 Service Unavailable"的错误提示,那是因为msn爬虫频繁访问博客园造成同时连接过多引起的,msn爬虫的UserAgent为:msnbot/1.1 (+http://search.msn.com/msnbot.htm)。为了保证网站的正常访问,我们不得不暂时封了msn爬虫的IP(目前已封了4个IP),但msn爬虫会变身(改变IP)来访,我们会继续关注msnbot的来访。

  博客园曾经因为sohu爬虫、Yahoo爬虫、soso爬虫的频繁来访影响网站的正常运行,现在又多了一个msnbot。

posted @ 2009-03-12 16:24  博客园团队  阅读(3108)  评论(17编辑  收藏  举报