打赏

2018年12月4日

python爬虫scrapy项目模块简单分析

摘要： scrapy项目模块简单分析 1.__init__配置初始化，比如配置数据库 2.Items定义数据结构 3.Spider-编写爬虫程序（名称、域名、从哪个url开始爬取数据） scrapy.Request(job_url.extract(), self.parse_detail) 写回调函数，当你 阅读全文

posted @ 2018-12-04 16:12 XuCodeX 阅读(232) 评论(0) 推荐(0) 编辑

Python爬虫Scrapy工作流程

摘要： Scrapy工作流程 工作流程： 1.引擎把请求扔给调度器Scheduler. 2.Downloader 得到一个网页 3.Spider处理得到一个网址和item. Spider把item扔给pipeline,把网址扔给scheduler，反复循环。 4.Pipeline流水线，把数据存储打包。 5 阅读全文

posted @ 2018-12-04 14:37 XuCodeX 阅读(193) 评论(0) 推荐(0) 编辑

导航