2018年3月14日
百度爬虫为什么这样没有轻重的爬呢？
摘要： 网站昨天持续打开很慢，经过分析发现是百度爬虫频繁抓取导致，改了rorots.txt还是不起作用，后来业务同事催得急，急中生智在阿里云后台设置了安全组规则，用cidr一下解决问题。 网段如下 123.125.71.74/24 220.181.108.139/24 111.206.198.46/16 可 阅读全文
posted @ 2018-03-14 17:33 step 阅读(702) 评论(0) 推荐(0) 编辑