2020年3月30日
几个主流蜘蛛的IP地址网段、爬行频率等分析（2020.3.30）
摘要： 最近网站因为被蜘蛛高频次爬行，导致服务器带宽跑满并导致访问缓慢等情况发生。下面罗列一些常见的蜘蛛IP（服务端收集3天的结果） 先说一下各个搜素引擎的蜘蛛爬行频率（可能每个人的网站情况不一样，这里做个示例吧），大致比例如下： Bytespider: 32000 360Spider: 1930 baid 阅读全文
posted @ 2020-03-30 13:42 前端小小菜 阅读(1296) 评论(0) 推荐(0) 编辑