Scrapy官网程序执行示例
Windows 10家庭中文版本，Python 3.6.4，Scrapy 1.5.0，
Scrapy已经安装很久了，前面也看了不少Scrapy的资料，自己尝试使其抓取微博的数据时，居然连登录页面（首页）都进不去，后又在前几日补充学习了re、requests、urllib3、bs4.BeautifulSoup的一些知识后，今天正式开始学习Scrapy爬虫框架。希望通过学习和实践，可以开发出分布式爬虫程序，可以抓取各种网站的数据，包括微博的，包括不熟悉的暗网的。
本文介绍了运行Scrapy官网的示例的过程。
由于孤的系统安装了Python 2.7和Python 3.6，因此，在第一次运行时居然出错了。
1.在Eclipse中编写程序（有自动提示）
2.打开命令行执行程序
第一次输入的是官网的命令：scrapy runspider scrapy0.py，结果执行错误——默认使用了Python 2.7的解释器。
更改执行命令为：python3 -m scrapy runspider scrapy0.py，再次执行，成功：
显示抓取到的数据：
执行scrapy runspider命令后发生了什么呢？在官文Scrapy at a glance中有介绍。
3.在命令行中结束程序：Ctrl+C
4.其它
4.1. 源码解读
其实，在编写爬虫程序之前，首先应该分析网站的数据的，然后再根据网站的数据指定抓取规则。
在官网示例中，抓取的是https://blog.scrapinghub.com中的文章的标题，这个标题位于class为entry-title的<h2>标签中，但这个标题的文字又被一个<a>标签包含，因此，才有了parse函数中的解析语法：
response.css('h2.entry-title')
title.css('a ::text').extract_first()
因为一个页面上有多个文章引用，因此，首先用for循环打印此本页的所有标题，
然后，执行【翻页】，去新的页面找到新的标题，于是有了parse中的第二个for循环。
但孤对第二个for循环中的response.follow(...)函数了解有限，还需阅读官网，大概的功能就是 跳转到新页面——<a>标签对象，指定解析函数——还是这个parse函数。
4.2. 网页分析——重难点
其实，开发爬虫程序前，首先要确定源网站的数据格式，需要对源网站进行网页结构、数据分析等工作，而且这个工作会在网页改版后立即调整——调整会导致爬虫【短时间】失效，也可能【长时间】失效。
下面是https://blog.scrapinghub.com的分析（这个比较简单，之前看的文章都是拿知乎、微博、博客园做例子，非常“凶残”）：使用了Chrome浏览器的Developer Tool（F2 或 Ctrl + Shift + J打开）
4.3. 继续改进
Scrapy首页中是在命令行执行程序，其实，可以在Eclipse中直接执行，需要写更多代码，还需dig；
Scrapy首页还提到了部署，可以试试部署到云平台或自己的服务器；
之前看资料讲，需要设定爬虫的运行周期或频率，不一定要每时每刻运行，也是可以在Scrapy中配置吧？或者要外部程序？
本示例的抓取结果是输出到命令行窗口，之前看的资料提示可以结合Mongodb、Redis将抓取的数据存储到本地，那么，这就会涉及到更多内容了，比如，重复抓取数据、抓取数据的页面/图片保存、数据量太大、制定关键字抓取等，一个一个来解决；
5.示例启动过程
5.1. 启动
INFO: Scrapy 1.5.0 started (bot: scrapybot)
INFO: Versions: lxml 4.2.1.0, ...
INFO: Enabled extensions: ...
INFO: Enabled downloader middlewares: ...
INFO: Enabled spider middlewares: ...
INFO: Enabled item pipelines: ...
INFO: Spider opened
INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
DEBUG: Crawled (200) <GET https://blog.scrapinghub.com> (referer: None)
...数据来了...
5.2. 结束
INFO: Dumping Scrapy stats:
{
...
'finish_reason': 'shutdown',
'finish_time': datetime.datetime(2018, 6, 26, 1, 13, 42, 25259),
'request_depth_max': 4,
...
'start_time': datetime.datetime(2018, 6, 26, 1, 13, 36, 126224)}
INFO: Spider closed (shutdown)
6.后记
之前看爬虫资料时，觉得自己可以做一个系统给每个人提供 个性化的爬虫（自行指定关键词）。在和朋友聊过后发现，原来，今日头条就是这个干的啊。哈，谁让自己不早点学习呢。
