python scrapy 抓取脚本之家文章(scrapy 入门使用简介)

　　老早之前就听说过python的scrapy。这是一个分布式爬虫的框架，可以让你轻松写出高性能的分布式异步爬虫。使用框架的最大好处当然就是不同重复造轮子了，因为有很多东西框架当中都有了，直接拿过来使用就可以了。scrapy 就是一个很棒的框架。最近在看崔庆才老师的博客http://cuiqingcai.com/ 的时候，发现了几个写的非常好的scrapy教程（http://cuiqingcai.com/4380.html，http://cuiqingcai.com/3952.html等，还有很多，大家可以自己去看），我看了半个小时就把以前看的scrapy基础回忆起来了，而且又学到了很多新的东西，所以就手痒痒用scrapy写了一个自己的爬虫，记录在这里。

　　脚本之家（http://www.jb51.net/）是我写代码查某个函数怎么怎么用(有时候忘了)经常去的地方，虽然站点界面像shi一样，又有许多杂七杂八的广告，不过说句公道话，还有有不少干货的，大部分也都附有源代码。今天我要爬取的就是脚本之家的文章。

　　在开始之前，先简单介绍一下scrapy的常用命令吧。我不打算讲的非常详细，要想详细了解，可以参考文档(http://wiki.jikexueyuan.com/project/scrapy/)或者上面我说的几篇博客。scrapy 创建一个 项目 使用的命令是: scrapy crawl project_name (project_name是你的项目名称) 这个命令需要在cmd(windows)或者shell(linux)下键入，这就会在当前目录下创建名称为 project_name 的项目。然后 cd 到这个项目，输入命令 genspider your_spider_name 来快速创建一个爬虫，your_spider_name 为你的爬虫的名字，注意这个名字必须是唯一的，这个命令在 project_name/project_name/spiders/目录下 生成了一个 your_spider_name.py 文件，你的爬虫就写到这里啦。

　　常见的几个文件作用如下：

　　spiders 文件夹用来存放你写的爬虫的脚本

　　items.py 用来定义你想要抓取的数据字段

　　middlewares.py 用来给scrapy增加一些额外的自定义的功能(比如后面要讲的设置代理等等)

　　piplines.py 用来定义抓取数据的储存方式

　　settings.py 是用来设置爬虫参数的文件

　　打开 爬虫文件，一般是已经给你 写好了一个 类，类似这样：

class JbzjSpiderSpider(scrapy.Spider):
    name = "jbzj_spider"
    allowed_domains = ["www.jb51.net"]
    base_url = "http://www.jb51.net"
    start_urls = []
    
    def parse(self, response):
        pass

 　　其中 name 是爬虫的名字(唯一),allowed_domains 为允许抓取的域名,start_urls 为 起始抓取的列表，如果没有特别指定抓取的url，就从start_urls列表中的地址抓取，类必须继承自 scrapy.Spider,这是所有爬虫都必须继承的一个类，parse 是 scrapy.Spider 的一个方法，我们有的时候需要将他覆写(override)，这个方法是默认的回调函数(callback),如果没有指定函数的回调函数的话，就会默认调用 parse函数。response 是解析 url 得到的相应，里面包含响应头，响应网页源码，url等等，比如 response.body 得到 网页源码，response.url 得到响应的url。对于解析网页，scrapy默认使用的方法是xpath 解析。比如可以直接使用 response.xpath("//a[@id="id1"]/@href").extract()得到id = id1的a标签的href属性(xpath的用法大家自行搜索，入门很快),使用 extract 方法返回的是一个列表。当然，除了使用xpath，你可以得到 response.body 之后，再使用你习惯解析html的方法（正则，css，bs4等等）。最后，一般我们需要 yield 一个 scrapy.Request 即相当于返回一个请求，这个请求可以设置很多参数，比较重要的有 headers(头部信息),callback(回调函数),meta(传递额外信息，默认传递的只是response)。比如我们写 yield scrapy.Request(url,callback=self.parse_url)，就是设定回调函数为 parse_url 函数，我们将 response 传递给parse_url 进行进一步解析。

　　还有一点就是，在这里我们将爬取到的数据存入数据库，python 连接数据库一般有 MySQLdb 和 pymysql 两个驱动可以选择，我一般使用的是前者，但是比较坑爹的是

MySQLdb 好像只支持 32 位系统，反正我用64位的python 装了好多次都没成功。所以建议使用 pip install pymysql 来安装，pymysql 使用纯python写的驱动，用法和 mysqldb差不多。我们需要在piplines.py 中 写插入数据库的操作，代码大概像下面这样：

import pymysql

class JbzjPipeline(object):
    def process_item(self, item, spider):
        url = item['article_url'] # 文章url
        title = item['article_title'] # 文章标题
        content = item['article_content'] # 内容
        # 建立数据库连接
        conn = pymysql.connect(host = 'localhost',user = 'root',passwd = 'passwd',db = 'your_db',charset = 'utf8')
        cursor = conn.cursor()
        sql = "insert into jbzj VALUES(NULL,%s,%s,%s)"
        cursor.execute(sql,(url,title,content)) # 执行sql语句
        cursor.close()
        conn.commit() # 提交数据库
        print(u"成功插入一条数据!")
        conn.close() # 关闭连接

我们需要覆写 JbzjPipeline 类的 process_item 方法，这个方法在 yield item 之后会自动调用，需要传入两个参数，一个是item(数据字段)，一个是spider(哪个爬虫)，我们在这个函数下写插入数据进入数据库的操作就可以了。

对了还有 items.py 文件，大概长下面这样：

class JbzjItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    article_url = scrapy.Field() # 文章链接
    article_title = scrapy.Field() # 文章标题
    article_content = scrapy.Field() # 文章内容

 我们采用 name = scrapy.Field()这样的形式来定义我们需要的字段，类需要继承自 scrapy.Item，在这里我就简单定义了文章链接、内容和标题三个字段。

总结一下：scrapy 抓取的基本步骤大概就是：从start_urls 中的url开始抓取，默认调用 start_requests ，然后将响应的请求传给 parse方法，parse方法再传递给它的回调函数，以此类推，直到最后一层 yield item，然后 piplines.py 开始处理数据的储存，当然我说的很简单，实际处理的过程比这个还要复杂一点，scrapy默认就是开启多线程的，整个过程不是顺序执行，如果想要彻底弄明白scrapy运行的机制，可以去找官方文档。

　　　　最后 给出实际的代码：

jbzj_spider.py

# -*- coding: utf-8 -*-
'''
scrapy 脚本之家爬虫实例:http://www.jb51.net/article/54323.htm
'''
import re

import scrapy
from ..items import JbzjItem
from scrapy.selector import Selector


class JbzjSpiderSpider(scrapy.Spider):
    name = "jbzj_spider"
    allowed_domains = ["www.jb51.net"]
    base_url = "http://www.jb51.net"
    start_urls = [
        'http://www.jb51.net/article/109909.htm',
        'http://www.jb51.net/article/110219.htm'
                  ]

    # def start_requests(self):
    #     yield scrapy.Request(self.start_urls[0],callback=self.parse)

    def parse(self, response):
        html = response.body # 网页源码
        urls_list = re.findall(re.compile(r'<a href="(/article/\d+\.htm)".+?</a>'),html)
        full_urls_list = [self.base_url + url for url in urls_list] # 完整列表
        for url in full_urls_list:
            yield scrapy.Request(url,callback=self.parse_url)

    def parse_url(self,response):
        item = JbzjItem() # 实例化一个item
        selector = Selector(response) # 构造一个选择器
        title = selector.xpath("//div[@class='title']/h1/text()").extract()[0] # 标题
        content = selector.xpath("//div[@id='content']//text()").extract() # 内容
        item['article_url'] = response.url
        item['article_title'] = title
        item['article_content'] = "".join(content)
        yield item
        html = response.body # 网页源码
        urls_list = re.findall(re.compile(r'<a href="(/article/\d+\.htm)".+?</a>'),html)
        full_urls_list = [self.base_url + url for url in urls_list] # 完整列表
        for url in full_urls_list:
            yield scrapy.Request(url,callback=self.parse_url2)


    def parse_url2(self,response):
        item = JbzjItem() # 实例化一个item
        selector = Selector(response) # 构造一个选择器
        title = selector.xpath("//div[@class='title']/h1/text()").extract()[0] # 标题
        content = selector.xpath("//div[@id='content']//text()").extract() # 内容
        item['article_url'] = response.url
        item['article_title'] = title
        item['article_content'] = "".join(content)
        yield item

对了，为了使用piplines.py,我们需要将 settings.py 中的 ITEM_PIPELINES 一项注释去掉，不然无法使用 piplines。

以上就是 本文的基本内容，后续有时间还会更新 scrapy的其他方面的内容。