scrapy(2)——scrapy爬取新浪微博（单机版）
Sina爬虫教程
- Scrapy环境搭建
环境：window10 + python2.7（包含scrapy）+ mongoDB
1.1 安装集成了python2.7的anaconda
anaconda下载链接：https://www.continuum.io/downloads
由于scrapy库目前只能在python2.7上使用，请务必确保版本正确，如果已经安装了python3.5，建议使用anaconda_2.7的版本，因为anaconda中集成了python2.7且使用anaconda安装第三库非常方便，所以可以考虑使用anaconda。
anaconda中集成的python务必选择正确，如图1-1所示:
图1-1 选择集成python2.7的anaconda
1.2 scrapy库函数的安装
安装scrapy的时候，直接使用conda install scrapy 的命令即可，如图1-2所示：
图1-2 在cmd中安装scrapy库函数
在pycharm中输入import s... 还没有输完IDE就会提示scrapy，则表示scrapy安装成功，如图1-3所示：
图1-3 scrapy库函数安装成功示意图
由于scrapy库函数的使用相对比较麻烦，所以在这里着重对scrapy库函数的使用进行较为详细的解释。
1.3 mongoDB数据库的安装
mongoDB下载地址：https://www.mongodb.com/download-center#community
在下载mongoDB的时候，请选择windows平台，同时对于版本，我们选取了带有SSL的版本，如图1-4所示：
图1-4 mongoDB下载
在启动mongoDB的时候，点击安装之后目录中的mongo.exe即可，如图1-5所示：
图1-5 启动mongoDB
如果出现图1-6所示的情况，则证明mongoDB可以正常使用了：
图1-6 mongoDB正常运行示意图
如果不能出现图1-6所示的情况，而是如1-7中的情况：
图1-7 安装mongoDB报错
如果出现上述的情况或者类似的情况，可能是因为缺少了VC运行环境，建议不要分别安装对应的dll文件，而是建议直接安装VS2017RC。
VS2017RC下载链接：https://www.visualstudio.com/vs/visual-studio-2017-rc/
图1-8 选择安装VS2017RC Community版本的IDE
- scrapy教程
由于scrapy库函数功能比较强大，所以在使用的时候相对比较麻烦，我们就以一个小教程开始这部分的学习。
scrapy的基础入门：http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html
第一步：在pycharm中新建一个名为Dmoz的package，如图2-1所示：
图2-1 新建一个名为Dmoz的package
第二步：通过cmd进入Dmoz的文件夹，并输入scrapy startproject tutorial指令创建scrapy项目，如图2-2所示：
图2-2 创建scrapy项目
在cmd中输入上述命令并回车之后，就会生成一个树状文件目录，在pycharm可以查看该文件目录，如图2-3所示：
图2-3 生成的树状文件目录
|
scrapy.cfg |
项目的配置文件。 |
|
tutorial/ |
该项目的python模块，之后将在此加入代码。 |
|
tutorial/items.py |
项目中的item文件。 |
|
tutorial/pipelines.py |
项目中的pipelines文件 |
|
tutorial/settings.py |
项目的设置文件 |
|
tutorial/spiders/ |
放置spider代码的目录 |
第三步：定义Item，它用来装在抓取的数据。通过创建一个scrapy.item.item类来声明，定义它的属性为scrapy.item.Field对象，就像一个对象关系映射（ORM）。
我们需要做的是将item模型化，从而控制我们获得url中的数据，比如说我们希望获取待爬取网站的名称、网站的url和网站的描述，这三个索要获取的东西即为我们的域。我们只需要编辑tutorial目录下的items.py文件，修改后的内容如下：
表2-1 items.py文件中的变量含义
|
变量 |
含义 |
|
title |
网站的名称 |
|
link |
网站的url |
|
desc |
网站的描述 |
第四步：编写爬虫（Spider），它用于从网站爬取数据。
该py文件的位置为：tutorial—spiders—dmoz_spider.py，文件目录如图2-4所示：
图2-4 爬虫py文件的位置
dmoz_spider.py用于从网站上爬取我们需要的信息，它需要继承scrapy.Spider类，该py文件的代码中必须要包含以下内容，如表2-2所示：
表2-2 Spider中属性含义
|
属性名称 |
属性含义 |
|
name |
Spider的名称，必须唯一 |
|
allowed_domains |
待爬取网站的域名 |
|
start_urls |
Spider在启动时进行爬取的url列表 |
|
parse() |
Spider的一个方法，用于对response进行接收并解析。 |
l name的命名（string类型）必须要做到唯一，因为name定义了scrapy如何定位并初始化spider，所以必须唯一。
l allowed_domains包含了spider所允许爬取的域名，以list方式存储；
l start_urls列表的作用是防止没有指定特定的url的时候，spider可以从列表中的url开始进行爬取，第一个被获取到的页面的url将是该列表之一，后续的url将会从获取到的数据中提取；
l parse()方法被调用的时候，每个初始url完成下载后生成的response对象将作为唯一的参数传递给该函数，它会负责解析返回的数据（response data），提取数据（生成item）以及生成需要进一步处理的url的request对象。
第五步：爬取网站数据，通过执行scrapy crawl dmoz来启动spider：执行的时候，用cmd跳到爬虫的目录中再执行“scrapy crawl dmoz”，如图2-5所示
图2-5 执行爬取指令
Scrapy为爬虫的 start_urls属性中的每个URL创建了一个 scrapy.http.Request 对象 ，并将爬虫的parse 方法指定为回调函数。
这些 Request首先被调度，然后被执行，之后通过parse()方法，scrapy.http.Response 对象被返回，结果也被反馈给爬虫。
执行完指令之后，在命令行中会有如下的输出信息，如图2-6所示：
图2-6 日志信息
在这些输出的内容中，包含着scrapy爬虫运行的日志信息。
包含 [dmoz]的那些行，那对应着爬虫的日志。你可以看到start_urls中定义的每个URL（存储在dmoz_spider.py中的start_urls的list中）都有日志行。由于这些URL是起始页面，所以他们没有引用(referrers)，所以在每行的末尾你会看到 (referer: <None>)。
正是因为我们的dmoz_spider.py文件中的parse()方法的存在，在pars()方法的作用下，两个文件被创建（filename = response.url.split("/")[-2]）：分别是 Books 和 Resources，这两个文件中有URL的页面内容（f.write(response.body)）。
我们将命令行中的日志信息保存下来，这些日志信息可以帮助我们了解爬虫的运行状态，对于分析爬虫具有很大的帮助。
在运行完上述指令之后，在pars()方法的作用下，两个文件被创建（filename = response.url.split("/")[-2]）：分别是 Books 和 Resources，这两个文件中有URL的页面内容（f.write(response.body)）。 如图2-7所示：
图2-7 生成文件示意图
第六步：提取item。scrapy使用的是XPath selector的机制，这种机制是基于XPath表达式来实现的。
在使用XPath的时候，scrapy中有两种类可供选择，第一种是HtmlXPathSelector（HTML数据解析），第二种是XmlPathSelector（XML数据解析）。
从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors。
为了介绍Selector的使用方法，接下来我们将要使用内置的 Scrapy shell 。Scrapy Shell需要您预装好IPython。anaconda已经预装了ipython，使用的时候只需要在命令行中输入ipython即可，如图2-8所示：
图2-8 IPython执行示意图
如果使用的不是anaconda，可以从这里下载：ipyhton下载地址
安装了ipython之后，需要进入项目的根目录，执行如图2-9所示的命令来启动shell:
图2-9 启动shell
如果启动失败，可以尝试加上双引号，即 scrapy shell “http://www.dmoz.org/Computers/Programming/Languages/Python/Books/”
将会获得如下的输出：
在这里有一些非常重要的信息，如图2-10所示：
图2-10 scrapy object
这些是可用的对象和函数列表。
上述的shell载入之后，我们得到了一个包含response的数据的本地response变量，我们可以输入指令“response.body”查看response的包体，可以输入指令“response.headers”查看response的包头，如图2-11所示：
图2-11 获取的response的包头信息
除了上述两个简单的指令之外，“response.selector”指令对于我们更有意义，如图2-12所示：
图2-12 通过reponse.selector获取用于查询的selector
通过输入response.selector可以获取一个可以用于查询返回数据的selector，以及映射到response.selector.xpath() 、 response.selector.css()的 快捷方法(shortcut): response.xpath() 和 response.css() 。
同时，shell根据response提前初始化了变量sel，该selector能够根据response的类型自动选择最合适的分析规则（XML或者HTML）。
注意在之前图2-10中显示的可用的对象和函数中没有包含sel方法，所以如图2-13所示，如果我们直接使用，会报错，所以改为使用response.xpath()方法，以及与之对应的response.xpath().extract()方法。具体的情况如图2-13所示：
图2-13 使用response.xpath()对response内容进行分析
第七步：提取有用的数据。我们使用response.body可以获取response中的内容，可以通过阅读网页源码选择合适的xpath表达式。
在spider中如果需要引用其他的class，可能会出现保存的情况，如图2-14所示：
图2-14 不能正确引入其他py文件中的class
在这里，虽然导入了正确的class，但是仍然报错，为解决这个问题，首先清除缓存，如图2-15所示：
图2-15 清除缓存
清除缓存之后如果仍然不能恢复，此时需要将整个爬虫文件设置为源目录，如图2-16所示：
图2-16 将爬虫文件目录设置为源目录
修改完之后，使用指令“scrapy crawl dmoz -o items.json”即可将爬取的内容保存为json格式的文件，如图2-17所示：
图2-17 将爬取的内容以json格式保存
3.新浪爬虫
第一步：mongoDB设置
①首先在建立mongoDB所需要的文件夹，如图3-1所示：
图3-1 建立mongoDB需要的文件夹
db文件夹用于存储数据，log文件夹用于存储日志信息，log文件夹中需要新建一个mongoDB.log文件；
bin文件夹是解压的mongoDB文件中的bin文件夹，直接copy过来即可。
②然后cmd跳转到bin文件夹下，执行“mongod --dbpath=D:\databases\mongo\db”，如图3-2所示：
图3-2 配置mongoDB数据的存储位置
这一步的作用是配置mongodb，制定了数据的存储位置，具体的dbpath根据你的db文件夹的位置来设置。
③在浏览器中访问“http://localhost:27017/”，如果出现如图3-3所示的情况，代表mongoDB开启成功。
图3-3 mongoDB开启成功示意图
第二步：新建scrapy项目
①新建一个文件夹，如图3-4所示：
图3-4 新建文件夹用于存储scrapy项目
②在上述的文件夹下执行指令“scrapy crawl Sina_spider1”新建一个scrapy项目，如图3-5所示：
图3-5 新建一个scrapy项目
③在pycharm中将相应配置文件全部写好，并编写spider.py文件用于爬取微博，如图3-6所示：
图3-6 文件树示意图
④在cookies.py中将购买的微博账号全部加进去，防止爬虫被微博识别，由于微博的反扒机制越来越成熟，建议账号在50个左右，多多益善。
⑤在spiders.py中填入你想要爬取的微博ID，如图3-8所示：
图3-8 待爬取微博ID信息
⑥在settings.py中设置合理的间隔时间，建议大于1.5，在这里用的是1.8，如图3-9所示：
图3-9 设置合适的间隔时间
⑦在Begin.py中设置用cmdline控制爬虫开始，如图3-10所示：
图3-10 设置cmdline控制爬虫开始爬取指令
⑧用cmd跳入到scrapy文件夹下，执行指令“scrapy crawl sinaSpider”指令，如图3-11所示：
图3-11 执行爬虫
⑨具体的爬虫执行过程可以从shell中看到，如图3-12所示：
图3-12 爬取过程示意图
第三步：用mongoDB可视化工具查看数据
在这里我们选用的是mongobooster，除此之外也可以选用robomongo等工具，但效果大同小异。
在数据库中，存储着Information、Tweets、Follows、Fans四张表，在这些表中，information表和tweets表比较重要。
表1 Information表中字段的含义
|
_id |
采用 “用户ID” 作为唯一标识 |
|
Birthday |
出生日期 |
|
City |
城市 |
|
Gender |
性别 |
|
Marriage |
婚姻状况 |
|
NickName |
昵称 |
|
Num_Fans |
粉丝数量 |
|
Num_Follows |
关注数量 |
|
Num_Tweets |
已转发微博数 |
|
Province |
所在省份 |
|
Signature |
签名 |
|
URL |
微博个人主页链接 |
图3-13 Information表中的数据示意图
表2 Tweets表中字段的含义
|
_id |
采用 “用户ID” 作为唯一标识 |
|
Co_oridinates |
发微博时的定位坐标（经纬度） |
|
Comment |
微博被评论的数量 |
|
Content |
微博的内容 |
|
ID |
用户ID |
|
Like |
微博被点赞的数量 |
|
PubTime |
微博发表时间 |
|
Tools |
发微博的工具 |
|
Transfer |
微博被转发的数量 |
|
|
|
图3-14 Tweets表中的数据示意图
