aws waf设置 user-agent设置手动拦截爬虫

步骤：

WAF & Shield------》选中使用的规则或自建“xxx”----》Rules. ----→Add Rules

name: 取名

type：Regular rule

If a request：matchs the statement

Statement:Single header

Header field name:user-agent

Match type:Matchs regular expression

#拦截规则：拦截ImagesiftBot这种标志的爬虫，如果有其他爬虫：(?i)(ImagesiftBot|aaaa|bbbb|ccc)

Regular expression:(?i)(ImagesiftBot)

 

Action：block

 

但是要小心别将搜索引擎的 Bot给屏蔽了

测试方法：curl -A "Mozilla/5.0 (compatible; ImagesiftBot; +imagesift.com)" "https://www.test.com" -vsq

 

主流网站爬虫机构：https://www.aimaven.vip/article/5264

爬虫特征字符串整理大全：

baiduspider

www.baidu.com/search/spider.html

www.sogou.com/docs/help/webmasters.htm

360spider

haosouspider

bingbot

www.bing.com/bingbot.htm

googlebot

www.google.com/mobile/adsbot.html

www.googlebot.com/bot.html

www.google.com/bot.html

misc.yahoo.com.cn/help.html

yisouspider

bytespider

zhanzhang.toutiao.com

www.yodao.com/help/webmaster/spider

search.msn.com/msnbot.htm

semrushbot

blexbot

ahrefsbot

mj12bot

dotbot