百度爬虫为什么这样没有轻重的爬呢？

网站昨天持续打开很慢，经过分析发现是百度爬虫频繁抓取导致，改了rorots.txt还是不起作用，后来业务同事催得急，急中生智在阿里云后台设置了安全组规则，用cidr一下解决问题。

网段如下

123.125.71.74/24

220.181.108.139/24

111.206.198.46/16

 

可能会误伤一些用户的IP。

 

虽然这样做，百度可能会将网站的自然排名降权。那也是没办法的，百度爬虫为什么这样没有轻重的爬呢？