爬虫_scrapy_请求头配置

某些网站建立了反爬手段，这就需要在爬取中设置UA和cookie

1.UA 的设置

第一种方式

在settings中找到 USER_AGENT，将内容写成真正的浏览器UA即可，将注释解开，这个UA 是全局的。

第二种方式

在DEFAULT_REQUEST_HEADERS种配置UA

2.cookie的设置

第一步先将COOKIES_ENABLED注释解开

 

 默认是注释的，注释解开代表启用cookie，当CLLKIES_ENABLED=False时候使用settings中的cookie

第二步在DEFAULT_REQUEST_HEADERS配置cookie