摘要：
(一):Scrapy爬虫框架的安装 当然如果你想用Anaconda 方式来安装也行，只是个人觉得杀鸡用牛刀，哈哈，随意吧！ 创建爬虫项目 在电脑上新建一个Scrapy项目，在命令行中切换到要存储的位置. D:\work\my_python\python_scrapy 这是我要创建Scrapy项目的地 阅读全文
摘要：
开发环境：WIN7+Anaconda+py2.7+scrapy数据库：MongoDB文章的顺序：1、先分析思路；2、再分析scrapy框架每个模块的作用；3、最后写代码和分析API，以及评论 Scrapy爬取网易云音乐和评论（一、思路分析） 一、我们先分析歌手，有两种方法： 方法一：遍历 优点：有个 阅读全文
摘要：
scrapy工作流程和每个模块的具体作用 其流程可以描述如下： 爬虫中起始的url构造成request对象-->爬虫中间件-->引擎-->调度器 调度器把request-->引擎-->下载中间件 >下载器 下载器发送请求，获取response响应 >下载中间件 >引擎 >爬虫中间件 >爬虫 爬虫提取 阅读全文