2018年3月27日
scrapy基础二
摘要： 应对反爬虫机制 ①、禁止cookie ：有的网站会通过用户的cookie信息对用户进行识别和分析，此时可以通过禁用本地cookies信息让对方网站无法识别我们的会话信息 settings.py里开启禁用cookie ②、设置下载延时：有的网站会对网页的访问频率进行分析，如果爬取过快，会被判断为自动爬 阅读全文
posted @ 2018-03-27 16:55 FRESHMANS 阅读(268) 评论(0) 推荐(0) 编辑