11 2017 档案
摘要:Scrapy流程分析 Scrapy 是一个重型爬虫框架。主要分为5部分:引擎(Engine)、调度器(Scheduler)(这个不太熟悉)、下载器(Downloader) 、爬虫(Spider)、管道(Item Pipeline)。 流程图如下: scrapy流程图(自己瞎画的) 流程概述: 参考:
阅读全文
摘要:调用实例: 1 import requests 2 r = requests.get('https://www.python.org') 3 r.status_code 4 r.content 5 .... requests包目录: __init__.py中引入了各大模块,requests.get相
阅读全文