『Scrapy』全流程爬虫demo
建立好的爬虫工程如下：
item.py
它用来存储解析后的响应文件：
# -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # http://doc.scrapy.org/en/latest/topics/items.html import scrapy class ScrapyItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() # pass name = scrapy.Field() title = scrapy.Field() info = scrapy.Field()
这是一个类似字典的数据结构，通过dict(items)可以直接转换为字典，以上面为例，其实例具有'name','title','info'三个key值。
spider爬虫
sipder需要调用item字典用于临时存储解析出来的数据，注意使用yield来动态化整个过程
这里面没有着重介绍解析过程，原因是我现在也不太懂
import scrapy from Scrapy.items import ScrapyItem class ITcastSpider(scrapy.Spider): # 名称 name = 'itcast' # 限制域 allowed_domains = 'itcast.cn' # 起始域 start_urls = ['http://www.itcast.cn/channel/teacher.shtml'] def parse(self, response): node_list = response.xpath("//div[@class='li_txt']") for node in node_list: item = ScrapyItem() # name = node.xpath('./h3/text()').extract() title = node.xpath('./h4/text()').extract() info = node.xpath('./p/text()').extract() item['name'] = name[0] item['title'] = title[0] item['info'] = info[0] yield item
由于我本身对html并不熟悉，为了理解一下我去原网页查看了一下源码，对应部分的结构如下：
spider的补充说明
一，视频spider中的return是返回给引擎，引擎会根据返回值的内容的做出不同处理，
- 如果是上面的item实例，则会交给管线程序处理，
- 如果是list或者其他普通数据结构的话可以在crawl命令位置添加-o输出到文件，有一下四种输出，但是这种方法无法修改编码方式，
- return的是请求的话会进入新一轮的爬取，
二，有关response，这是一个响应对象，response.xpath()后是一个xpath对象，
print(node.xpath('./h3/text()'))
print(name)
print(name[0])
看看输出，
[<Selector xpath='./h3/text()' data='杨老师'>]
['杨老师']
杨老师
也就是说.extract()方法可以把xpath对象的data部分提取出来作为一个字符串列表。
另一处就是xpath对象的提取规则了，//表示全匹配（任意匹配）而./表示当前匹配xpath对象下的级，text()就是文本对象了，不单单是xpath，response的解析方式还有其他的，css也是可以的，本节不过多讨论。
settings.py
指定管道文件，下面的语句原本是注释掉的，我们需要取消注释并可以做出修改，字典中的数字表示优先级，0~1000，越小优先度越高，spider解析出来的item数据会按照优先级依次流入各个管道做后续处理（存储之类的），由于是依次，所以管道处理数据后返回值必须是原始数据，这在后面会看到
# Configure item pipelines # See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.html ITEM_PIPELINES = { 'Scrapy.pipelines.ScrapyPipeline': 300, }
pipelines.py
__init__()和close_spider()会被自动调用与爬虫起始与结束，process_item()会在每次出现返回值都被调用，并将自己的返回值交给下一优先级的管线
# -*- coding: utf-8 -*- # Define your item pipelines here # # Don't forget to add your pipeline to the ITEM_PIPELINES setting # See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html import json class ScrapyPipeline(): def __init__(self): self.f = open('itcast_pipeline.json', 'w') def process_item(self, item, spider): content = json.dumps(dict(item), ensure_ascii=False) + '\n' self.f.write(content) # 必须return这个，可以传给下一管道 return item def close_spider(self,spider): self.f.close()
如果在这里面添加print(item)，会看到输出如下，每次一行：
{'info': '五年以上教学经验及多年开发经验,精通C/S架构、B/S架构,涉足.NET、IOS等技术平台及各种数据库系统。精通多种主流编程语言。课上行云流水,通俗易懂,由浅入深,诙谐幽默。待学员如初恋,一个肯为学员玩命教学的男人! ', 'title': '高
级讲师', 'name': '杨老师'}
json.dumps()操作将字典转化为str，而json.loads()做反向变换，它们和保存文件的尾缀没有关系，由于默认是ascii格式保存一般中文会加上ensure_ascii=False：
In [1]: import json In [2]: a = {'name': 'wang', 'age': 29} In [3]: b = json.dumps(a) In [4]: print b, type(b) {"age": 29, "name": "wang"} <type 'str'> In [11]: json.loads(b) Out[11]: {u'age': 29, u'name': u'wang'} In [12]: print type(json.loads(b)) <type 'dict'>
运行
scrapy check itcast # 检查逻辑是否有错误
scrapy crawl itcast # 运行爬虫，注意，指定的是爬虫类的名称属性
