摘要: 最近网站因为被蜘蛛高频次爬行,导致服务器带宽跑满并导致访问缓慢等情况发生。下面罗列一些常见的蜘蛛IP(服务端收集3天的结果) 先说一下各个搜素引擎的蜘蛛爬行频率(可能每个人的网站情况不一样,这里做个示例吧),大致比例如下: Bytespider: 32000 360Spider: 1930 baid 阅读全文
posted @ 2020-03-30 13:42 前端小小菜 阅读(1416) 评论(0) 推荐(0) 编辑