摘要:
url: 就是需要请求,并进行下一步处理的url callback: 指定该请求返回的Response,由那个函数来处理。 method: 一般不需要指定,使用默认GET方法请求即可 headers: 请求时,包含的头文件。一般不需要。内容一般如下:使用 urllib2 自己写过爬虫的肯定知道 Host: media.readthedocs.org User...
阅读全文
posted @ 2017-05-07 17:28
IT小不点
阅读(1079)
推荐(0)
编辑
摘要:
(1):第一种方法是在命令上加上-s USER_AGENT='Mozilla/5.0' (2):第二种方法是修改scrapy的user-agent默认值 找到Python的:安装目录下的default_settings.py文件, C:\Program Files (x86)\Anaconda2\e
阅读全文
posted @ 2017-05-07 16:37
IT小不点
阅读(229)
推荐(0)
编辑