百度常见的蜘蛛爬虫IP,如果对百度表示友好,请勿将这些IP拉入黑名单。
百度UA标记
移动UA:
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
PC UA:
Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
新增渲染UA
移动UA:
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
PC UA:
Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
百度常见的蜘蛛爬虫IP,如果对百度表示友好,请勿将这些IP拉入黑名单。
220.181.108.0/24 111.206.198.0/24 111.206.221.0/24 111.206.222.0/24 220.181.7.0/24 123.125.66.0/24 210.72.225.0/24 125.90.88.0/24 116.179.32.0/24 61.135.162.0/24 61.135.168.0/24 123.125.66.0/24 159.226.50.0/24 180.76.5.0/24 210.72.225.0/24 123.125.71.0/24 220.181.51.0/24 116.179.37.0/24 113.24.225.0/24 123.15.0.0/16
不然可是一点流量都没有了,如果某一段时间网站没有流量检查防火墙,看这些IP段有没有被阻止。
宝塔Linux面板安装的是ufw防火墙,下面是一些简单的操作指令
如果封的IP较多无法完全查看使用以下命令可导出ip到blocked_ips.txt中。
ufw status | grep 'DENY' | awk '{print $3}' > blocked_ips.txt
也可以通过面板中安全》系统防火墙》IP规则查看放行或阻止的ip
解封指定的IP段
sudo ufw allow from 220.181.108.0/24 sudo ufw allow from 111.206.198.0/24 sudo ufw allow from 111.206.221.0/24 sudo ufw allow from 111.206.222.0/24 sudo ufw allow from 220.181.7.0/24 sudo ufw allow from 123.125.66.0/24 sudo ufw allow from 210.72.225.0/24 sudo ufw allow from 125.90.88.0/24 sudo ufw allow from 116.179.32.0/24 sudo ufw allow from 61.135.162.0/24 sudo ufw allow from 61.135.168.0/24 sudo ufw allow from 159.226.50.0/24 sudo ufw allow from 180.76.5.0/24 sudo ufw allow from 123.125.71.0/24
想允许 123.15.x.x 的所有 IP 地址
sudo ufw allow from 123.15.0.0/16
参考资料如下:
https://blog.csdn.net/YLBF_DEV/article/details/136656278
https://zhuanlan.zhihu.com/p/518109564
https://blog.csdn.net/enweitech/article/details/80481922
https://www.cnblogs.com/chig/p/16972471.html
https://blog.csdn.net/m0_73970094/article/details/140138173
https://blog.csdn.net/m0_73970094/article/details/140165289
https://wiki.imoke.org/IP/爬虫蜘蛛IP地址清单:搜索引擎:百度(baidu.com)爬虫.html
https://blog.csdn.net/YUJIANYUE/article/details/116709610
https://cloud.tencent.com/developer/article/2203474
-------------------------------------------------
如果觉得这篇文章对你有小小的帮助的话,点点左下角“👍”博主在此感谢!