python爬虫scrapy学习之篇二
继上篇《python之urllib2简单解析HTML页面》之后学习使用Python比较有名的爬虫scrapy。网上搜到两篇相应的文档，一篇是较早版本的中文文档Scrapy 0.24 文档，一篇是当前最新文档Scrapy 1.3 documentation，建议还是看最新的英文文档比较好。
scrapy的安装教程请参考上篇《python之urllib2简单解析HTML页面》。
1、创建一个个Scrapy项目
scrapy startproject firstCrawler
目录切换到firstCrawler，目录结构如下：
.
├── firstCrawler
│ ├── __init__.py
│ ├── items.py
│ ├── middlewares.py
│ ├── pipelines.py
│ ├── settings.py
│ └── spiders
│ └── __init__.py
└── scrapy.cfg
scrapy.cfg: 项目的配置文件tems.py: 项目中的item文件，用来定义解析对象对应的属性或字段。pipelines.py: 负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取到数据库）settings.py: 项目的设置文件.- spiders：实现自定义爬虫的目录
- middlewares.py：Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response)和输出(items及requests)。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。
这里开发的IDE使用IDEA，因为笔记本上本来就装了，就不想麻烦。因为使用的是Python的虚拟环境，因此需要额外配置一下。如下图：
2、定义Item
Item 是保存爬取到的数据的容器；其使用方法和python字典类似， 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。首先根据需要从dmoz.org获取到的数据对item进行建模。 我们需要从dmoz中获取名字，url，以及网站的描述。 对此，在item中定义相应的字段。
# -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # http://doc.scrapy.org/en/latest/topics/items.html import scrapy class FirstcrawlerItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() title = scrapy.Filed() link = scrapy.Filed() desc = scrapy.Filed() pass
这里定义了三个字段title、link、desc，实际的应用中会更复杂。这个文件就简单的定义好了，这意味着我们抓取的页面元素是标题、连接、描述。
3、编写第一个爬虫（Spider）
自己创建的爬虫必须继承 scrapy.Spider 类， 且定义以下三个属性:
name: 用于区别Spider。 该名字必须是唯一的，您不可以为不同的Spider设定相同的名字，一个项目中可以有多个爬虫。运行时通过指定name运行指定的爬虫。start_urls: 包含了Spider在启动时进行爬取的url列表。 因此，第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。- allowed_domains:可选。包含了spider允许爬取的域名(domain)列表(list)。 当
OffsiteMiddleware启用时， 域名不在列表中的URL不会被跟进。 parse()是spider的一个方法。 被调用时，每个初始URL完成下载后生成的Response对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的Request对象。
提取Item元素，需要用到Selectors选择器,网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors
这里给出XPath表达式的例子及对应的含义(http://www.w3school.com.cn/xpath/index.asp):
/html/head/title: 选择HTML文档中<head>标签内的<title>元素/html/head/title/text(): 选择上面提到的<title>元素的文字//td: 选择所有的<td>元素//div[@class="mine"]: 选择所有具有class="mine"属性的div元素
xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表 。css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表.extract(): 序列化该节点为unicode字符串并返回list。re(): 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。
import scrapy class DemoSpider(scrapy.Spider): name = "Demo" allowed_domains = ["dmoztools.net"] start_urls = [ "http://www.dmoztools.net/World/Chinese_Simplified/%E8%AE%A1%E7%AE%97%E6%9C%BA/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BA%91%E8%AE%A1%E7%AE%97/" ] def parse(self, response): for sel in response.xpath("//div[@class='title-and-desc']"): title = sel.xpath("a/div[@class='site-title']/text()").extract() link = sel.xpath("a/@href").extract() desc = sel.xpath("div[@class='site-descr ']/text()").extract() print title, link, desc
4、运行爬虫
进入项目的根目录，就是scrapy.cfg所在的目录运行
(e27) ➜ firstCrawler scrapy crawl Demo
结果如下
2017-04-10 00:56:52 [scrapy.utils.log] INFO: Scrapy 1.3.3 started (bot: firstCrawler) 2017-04-10 00:56:52 [scrapy.utils.log] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'firstCrawler.spiders', 'SPIDER_MODULES': ['firstCrawler.spiders'], 'ROBOTSTXT_OBEY': True, 'BOT_NAME': 'firstCrawler'} 2017-04-10 00:56:52 [scrapy.middleware] INFO: Enabled extensions: ['scrapy.extensions.logstats.LogStats', 'scrapy.extensions.telnet.TelnetConsole', 'scrapy.extensions.corestats.CoreStats'] 2017-04-10 00:56:52 [scrapy.middleware] INFO: Enabled downloader middlewares: ['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware', 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', 'scrapy.downloadermiddlewares.retry.RetryMiddleware', 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', 'scrapy.downloadermiddlewares.stats.DownloaderStats'] 2017-04-10 00:56:52 [scrapy.middleware] INFO: Enabled spider middlewares: ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', 'scrapy.spidermiddlewares.referer.RefererMiddleware', 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', 'scrapy.spidermiddlewares.depth.DepthMiddleware'] 2017-04-10 00:56:52 [scrapy.middleware] INFO: Enabled item pipelines: [] 2017-04-10 00:56:52 [scrapy.core.engine] INFO: Spider opened 2017-04-10 00:56:52 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2017-04-10 00:56:52 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023 2017-04-10 00:56:55 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmoztools.net/robots.txt> (referer: None) 2017-04-10 00:56:56 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmoztools.net/World/Chinese_Simplified/%E8%AE%A1%E7%AE%97%E6%9C%BA/%E4%BA%92%E8%81%94%E7%BD%91/%E4%BA%91%E8%AE%A1%E7%AE%97/> (referer: None) [u'IT168\u4e91\u8ba1\u7b97\u9891\u9053 '] [u'http://cloud.it168.com/'] [u'\r\n\t\t\t\r\n \u63d0\u4f9b\u4e91\u8ba1\u7b97\u6700\u65b0\u8d44\u8baf\u3001\u6280\u672f\u89e3\u8bfb\uff0c\u4ea7\u54c1\u548c\u670d\u52a1\u7684\u5bfc\u8d2d\u548c\u9009\u578b\uff0c\u5206\u4eab\u56fd\u5185\u5916\u4e91\u8ba1\u7b97\u7684\u6210\u529f\u6848\u4f8b\u3002\r\n ', u'\r\n '] [u'\u4e2d\u4e91\u7f51 '] [u'http://www.china-cloud.com/'] [u'\r\n\t\t\t\r\n \u63d0\u4f9b\u4e91\u8ba1\u7b97\u8d44\u8baf\uff0c\u5305\u62ec\u4e91\u8ba1\u7b97\u6280\u672f\u3001\u4e91\u8ba1\u7b97\u5e94\u7528\u3001\u4e91\u8ba1\u7b97\u4ea7\u4e1a\u3001\u4e91\u8ba1\u7b97\u5e02\u573a\u3001\u4e91\u5b58\u50a8\u3001\u4e91\u5b89\u5168\u3001\u4e91\u670d\u52a1\u7b49\u76f8\u5173\u8d44\u8baf\u3002\r\n ', u'\r\n '] [u'\u4e2d\u5173\u6751\u5728\u7ebf\u4e91\u8ba1\u7b97\u9891\u9053 '] [u'http://cloud.zol.com.cn/'] [u'\r\n\t\t\t\r\n \u63d0\u4f9b\u4e91\u8ba1\u7b97\u884c\u60c5\uff0c\u4e91\u8ba1\u7b97\u62a5\u4ef7\uff0c\u4e91\u8ba1\u7b97\u8bc4\u6d4b\uff0c\u4e91\u8ba1\u7b97\u8bba\u575b\uff0c\u4e91\u8ba1\u7b97\u7ecf\u9500\u5546\u7b49\u6709\u4ef7\u503c\u7684\u53c2\u8003\u3002\r\n ', u'\r\n '] [u'\u4e2d\u56fd\u4e91\u8ba1\u7b97 '] [u'http://www.chinacloud.cn/'] [u'\r\n\t\t\t\r\n \u63d0\u4f9b\u4e91\u8ba1\u7b97\u6982\u5ff5\u3001\u4e91\u8ba1\u7b97\u6280\u672f\u3001\u4e91\u8ba1\u7b97\u5e94\u7528\u3001\u4e91\u8ba1\u7b97\u5b66\u4e60\u3001\u4e91\u8ba1\u7b97\u673a\u3001\u4e91\u5b58\u50a8\u3001\u4e91\u5b89\u5168\u3001\u4e91\u670d\u52a1\u7b49\u4ea4\u6d41\u4e2d\u5fc3\u3002\r\n ', u'\r\n '] [u'\u4e2d\u56fd\u4e91\u8ba1\u7b97\u670d\u52a1\u7f51 '] [u'http://www.cloudguide.com.cn/'] [u'\r\n\t\t\t\r\n \u63d0\u4f9b\u4e91\u8ba1\u7b97\u65b0\u95fb\u8d44\u8baf\u4ee5\u53ca\u4e91\u8ba1\u7b97\u4ea7\u54c1\u548c\u670d\u52a1\uff0c\u540c\u65f6\u63d0\u4f9b\u6709\u4ef7\u503c\u7684\u4e91\u8ba1\u7b97\u884c\u4e1a\u89e3\u51b3\u65b9\u6848\u53ca\u5e94\u7528\u6848\u4f8b\u7b49\u70ed\u95e8\u8d44\u6e90 \u3002\r\n ', u'\r\n '] 2017-04-10 00:56:56 [scrapy.core.engine] INFO: Closing spider (finished) 2017-04-10 00:56:56 [scrapy.statscollectors] INFO: Dumping Scrapy stats: {'downloader/request_bytes': 549, 'downloader/request_count': 2, 'downloader/request_method_count/GET': 2, 'downloader/response_bytes': 6789, 'downloader/response_count': 2, 'downloader/response_status_count/200': 2, 'finish_reason': 'finished', 'finish_time': datetime.datetime(2017, 4, 9, 16, 56, 56, 295317), 'log_count/DEBUG': 3, 'log_count/INFO': 7, 'response_received_count': 2, 'scheduler/dequeued': 1, 'scheduler/dequeued/memory': 1, 'scheduler/enqueued': 1, 'scheduler/enqueued/memory': 1, 'start_time': datetime.datetime(2017, 4, 9, 16, 56, 52, 724189)} 2017-04-10 00:56:56 [scrapy.core.engine] INFO: Spider closed (finished)
可以看到已经抓取到了结果，只不过汉字用的是Unicode码表示
