(转)Scrapy 教程
原文：https://www.osgeo.cn/scrapy/intro/tutorial.html
在本教程中，我们假定scrapy已经安装在您的系统上。如果不是这样的话，看 安装指南 .
我们将抓取' quotes.toscrape.com <http: quotes.toscrape.com=""></http:> ' _，这是一个列出著名作家名言的网站。
本教程将指导您完成以下任务：
-
创建新的Scrapy项目
-
写一篇 spider 对网站进行爬网并提取数据
-
使用命令行导出抓取的数据
-
将spider改为递归跟踪链接
-
使用蜘蛛参数
Scrapy是用 Python 写的。如果你对这门语言不熟悉，你可能想从了解这门语言是什么开始，从 Scrapy 语言中得到最大的收获。
如果您已经熟悉其他语言，并且希望快速学习Python，那么 Python Tutorial 是一种很好的资源。
如果您是编程新手，并且想从python开始，那么下面的书可能对您有用：
你也可以看看 this list of Python resources for non-programmers 以及 suggested resources in the learnpython-subreddit .
创建项目
在开始抓取之前，你必须建立一个新的零碎项目。输入要在其中存储代码并运行的目录：
scrapy startproject tutorial
这将创建一个 tutorial 目录包含以下内容：
tutorial/
scrapy.cfg # deploy configuration file
tutorial/ # project's Python module, you'll import your code from here
__init__.py
items.py # project items definition file
middlewares.py # project middlewares file
pipelines.py # project pipelines file
settings.py # project settings file
spiders/ # a directory where you'll later put your spiders
__init__.py
我们的第一只蜘蛛
爬行器是您定义的类，Scrapy使用它从一个网站(或一组网站)中抓取信息。它们必须是子类 Spider 并定义要做出的初始请求，可选的是如何跟随页面中的链接，以及如何解析下载的页面内容以提取数据。
这是我们第一只蜘蛛的代码。将其保存在名为的文件中 quotes_spider.py 下 tutorial/spiders 项目中的目录：
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
def start_requests(self):
urls = [
'http://quotes.toscrape.com/page/1/',
'http://quotes.toscrape.com/page/2/',
]
for url in urls:
yield scrapy.Request(url=url, callback=self.parse)
def parse(self, response):
page = response.url.split("/")[-2]
filename = f'quotes-{page}.html'
with open(filename, 'wb') as f:
f.write(response.body)
self.log(f'Saved file {filename}')
如您所见，我们的Spider子类 scrapy.Spider 并定义了一些属性和方法：
-
name：标识蜘蛛。它在一个项目中必须是唯一的，即不能为不同的爬行器设置相同的名称。 -
start_requests()：必须返回请求的可迭代(您可以返回请求列表或编写生成器函数)，爬行器将从该请求开始爬行。后续请求将从这些初始请求中相继生成。 -
parse()：将被调用以处理为每个请求下载的响应的方法。Response参数是TextResponse它保存页面内容，并具有进一步有用的方法来处理它。这个
parse()方法通常解析响应，将抓取的数据提取为字典，还查找要遵循的新URL并创建新请求 (Request)。
如何运行我们的蜘蛛
要使蜘蛛正常工作，请转到项目的顶级目录并运行：
scrapy crawl quotes
此命令运行名为的spider quotes 我们刚刚添加的，这将发送一些 quotes.toscrape.com 领域。您将得到类似于以下内容的输出：
... (omitted for brevity)
2016-12-16 21:24:05 [scrapy.core.engine] INFO: Spider opened
2016-12-16 21:24:05 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2016-12-16 21:24:05 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2016-12-16 21:24:05 [scrapy.core.engine] DEBUG: Crawled (404) <GET http://quotes.toscrape.com/robots.txt> (referer: None)
2016-12-16 21:24:05 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://quotes.toscrape.com/page/1/> (referer: None)
2016-12-16 21:24:05 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://quotes.toscrape.com/page/2/> (referer: None)
2016-12-16 21:24:05 [quotes] DEBUG: Saved file quotes-