会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
前端小小菜
Enjoy the happiness of dev!
博客园
首页
新随笔
联系
订阅
管理
2020年3月30日
几个主流蜘蛛的IP地址网段、爬行频率等分析(2020.3.30)
摘要: 最近网站因为被蜘蛛高频次爬行,导致服务器带宽跑满并导致访问缓慢等情况发生。下面罗列一些常见的蜘蛛IP(服务端收集3天的结果) 先说一下各个搜素引擎的蜘蛛爬行频率(可能每个人的网站情况不一样,这里做个示例吧),大致比例如下: Bytespider: 32000 360Spider: 1930 baid
阅读全文
posted @ 2020-03-30 13:42 前端小小菜
阅读(1416)
评论(0)
推荐(0)
编辑
公告