摘要: 生成项目 scrapy startproject image360 cd Image360 && scrapy genspider images images.so.com 一. 构造请求 1. 在setting.py中增加MAX_PAGE=5,表示爬取5页 2. 在images.py中定义star 阅读全文
posted @ 2018-08-02 17:20 坚强的小蚂蚁 阅读(233) 评论(0) 推荐(0) 编辑
摘要: 一. 功能说明 Downloader Middleware有三个核心的方法 process_request(request, spider) process_response(request, response, spider) process_exception(request, exceptio 阅读全文
posted @ 2018-08-02 11:48 坚强的小蚂蚁 阅读(175) 评论(0) 推荐(0) 编辑