摘要： 反爬虫系列 Scrapy爬虫搞定随机User-Agent fake_useragent是github上的开源项目，官网 fake-useragent 爬虫过程中的反爬措施非常重要，其中设置随机 User-Agent 是一项重要的反爬措施 比较流行的办法还是在配置文件中手动添加一些 UA，然后通过 r 阅读全文