百度常见的蜘蛛爬虫IP,如果对百度表示友好,请勿将这些IP拉入黑名单。

百度UA标记

移动UA:

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA:

Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

新增渲染UA

移动UA:

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA:

Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

百度常见的蜘蛛爬虫IP,如果对百度表示友好,请勿将这些IP拉入黑名单。

220.181.108.0/24
111.206.198.0/24
111.206.221.0/24
111.206.222.0/24
220.181.7.0/24
123.125.66.0/24
210.72.225.0/24
125.90.88.0/24
116.179.32.0/24
61.135.162.0/24
61.135.168.0/24
123.125.66.0/24
159.226.50.0/24
180.76.5.0/24
210.72.225.0/24
123.125.71.0/24
220.181.51.0/24
116.179.37.0/24
113.24.225.0/24
123.15.0.0/16

不然可是一点流量都没有了,如果某一段时间网站没有流量检查防火墙,看这些IP段有没有被阻止。

 宝塔Linux面板安装的是ufw防火墙,下面是一些简单的操作指令

如果封的IP较多无法完全查看使用以下命令可导出ip到blocked_ips.txt中。

ufw status | grep 'DENY' | awk '{print $3}' > blocked_ips.txt

也可以通过面板中安全》系统防火墙》IP规则查看放行或阻止的ip

解封指定的IP段

sudo ufw allow from 220.181.108.0/24
sudo ufw allow from 111.206.198.0/24
sudo ufw allow from 111.206.221.0/24
sudo ufw allow from 111.206.222.0/24
sudo ufw allow from 220.181.7.0/24
sudo ufw allow from 123.125.66.0/24
sudo ufw allow from 210.72.225.0/24
sudo ufw allow from 125.90.88.0/24
sudo ufw allow from 116.179.32.0/24
sudo ufw allow from 61.135.162.0/24
sudo ufw allow from 61.135.168.0/24
sudo ufw allow from 159.226.50.0/24
sudo ufw allow from 180.76.5.0/24
sudo ufw allow from 123.125.71.0/24

想允许 123.15.x.x 的所有 IP 地址

sudo ufw allow from 123.15.0.0/16

参考资料如下:

https://blog.csdn.net/YLBF_DEV/article/details/136656278

https://zhuanlan.zhihu.com/p/518109564

https://blog.csdn.net/enweitech/article/details/80481922

https://www.cnblogs.com/chig/p/16972471.html

https://blog.csdn.net/m0_73970094/article/details/140138173

https://blog.csdn.net/m0_73970094/article/details/140165289

https://wiki.imoke.org/IP/爬虫蜘蛛IP地址清单:搜索引擎:百度(baidu.com)爬虫.html

https://blog.csdn.net/YUJIANYUE/article/details/116709610

https://cloud.tencent.com/developer/article/2203474

posted @ 2024-11-01 15:08  神经蛙  阅读(66)  评论(0编辑  收藏  举报