python.scrapy爬虫随机请求头设置

 1、准备好一定数量的请求头
 2、更改setting.py中的设置
 3、编写中间件
 4、验证结果

 1、准备好一定数量的请求头，网上很多，自行搜索
```python
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1",
"User-Agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
"User-Agent:Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
"User-Agent:Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"
```
 2、更改setting.py中的设置，注释掉ROBOTSTXT_OBEY = True，将user-agent改为字典形式，启用下载中间件，后面的数字是权值

 

 3、编写中间件middlewares.py，将原先的删除，重写编写，导入random库和导入settings中的uesr-agent的配置

 

>4、编写parse验证结果scrapy crawl getip --nolog（nolog是去掉日志信息）