返回顶部

day07 scrapy 框架

 

 

上面 的模块 ,对应就是一个文件。 

 

 

四个模块都是和 引擎做交互,由引擎来决定 将相应的数据传给谁!!! 

里面的多线程  ,高并发都是 交给调度器来实现的!!! 

 

实际开发中 和程序员有关系的就只有 spider (1,start_url  2,解析数据  )  和 管道 (保存数据)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

pass 

posted @ 2019-12-21 19:05  Zcb0812  阅读(161)  评论(0编辑  收藏  举报