爬虫学习--MOOC爬取豆瓣top250
摘要：
scrapy框架 scrapy是一套基于Twisted的异步处理框架，是纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松实现一个爬虫，用来抓取网页内容或者各种图片。 scrapy Engine:scrapy引擎 负责调度器，下载器，管道和爬虫之间的通讯信号和数据的传递，相当于交通站 阅读全文
posted @ 2018-08-11 20:33 pan0o 阅读(447) 评论(0) 推荐(0) 编辑
