代码改变世界

python实现爬虫(一)--- Scrapy框架抓取豆瓣书籍信息

2014-07-20 04:11  凝月流风  阅读(1999)  评论(1编辑  收藏  举报

  Scrapy是一个用python实现的开源爬虫框架,简单易用,功能强大,只需要在框架的基础上自定义自己的分析规则即可,具体如何新建工程等都在官方文档上面讲解得非常清楚,官方文档tutorial(http://doc.scrapy.org/en/latest/intro/tutorial.html)请保证下载较新版本的Scrapy(我的是0.24.2,scrapy -v)旧版本会出现一些问题。

  下面我使用Scrapy抓取豆瓣上面编程书籍的一些简单信息

一、准备爬取的页面如下,新建一个douban工程:

  每一页有20本书籍,虽然下面显示由97页,实际上只有50页,也即1000本书籍,非常快就可以抓取下来

(非常开心看到自己最喜欢的两本书排在前两位《算法导论》and《深入理解计算机系统》 ^_^)

 

二、确定所需信息为(title, link, author, price, description),编辑items.py文件,添加所需的项

  

三、定义自己的爬虫,在douban/douban/spiders/目录下新建一个.py文件(此处sola.py)

1. 导入所需模块,此处的爬虫继承自最简单的Spider, 除此之外scrapy还实现了CrawlSpider(可自定义Rules)等功能更强大的爬虫可以使用

  

2.确定 爬虫名字是sola,必须唯一 ; allowed_domains: 允许在book.douban.com 域名下抓取; 以及起始url

3. 编写parse函数,parse函数是对每一url请求返回的响应所对应作出的分析

parse函数由两部分组成,第一部分是如何处理相应所获的的书籍信息(Item),第二部分是如何递归抓取下一页面的书籍, 也就是返回item和Request的问题

1)处理Item

首先查看网页源码,可以发现每一本书籍对应的html文档如下(以下以《编程珠玑》为例),

 

 1 <li class="subject-item">
 2     <div class="pic">
 3       <a class="nbg" href="http://book.douban.com/subject/3227098/" 
 4   onclick=&#34;moreurl(this,{i:&#39;5&#39;})&#34; }>
 5         <img class="" src="http://img3.douban.com/mpic/s4687321.jpg"
 6           width="90">
 7       </a>
 8     </div>
 9     <div class="info">
10       <h2 class="">
11         
12   
13   <a href="http://book.douban.com/subject/3227098/" title="编程珠玑" 
14   onclick=&#34;moreurl(this,{i:&#39;5&#39;})&#34;>
15 
16     编程珠玑
17 
18   </a>
19 
20       </h2>
21       <div class="pub">
22         
23   
24   Jon Bentley / 黄倩、钱丽艳 / 人民邮电出版社 / 2008-10 / 39.00元
25 
26       </div>
27 
28   <div class="star clearfix">
29         <span class="allstar45"></span>
30         <span class="rating_nums">9.2</span>
31 
32     <span class="pl">
33         (1387人评价)
34     </span>
35   </div>
36   
37     <p>本书是计算机科学方面的经典名著。书的内容围绕程序设计人员面对的一系列实际问题展开。作者Jon Bentley 以其独有的洞察力和创造力,引导读者理解这些问题... </p>
38 
39       <div class="ft">
40           
41   <div class="collect-info">
42   </div>
43 
44     <div class="buy-info">
45 
46         <a href="http://book.douban.com/subject/3227098/buylinks">
47             有售
48           27.60 元起
49         </a>
50     </div>
51 
52 
53       </div>
54 
55     </div>
56   </li>

 

所以首先找到所有 <li class="subject-item">的元素 : info = Selector(response).xpath('//li[@class="subject-item"]')

然后对于每一个<li class="subject-item">元素,可以发现书籍信息在里面的<div class="info">元素里,title和link在div里面的<h2 class="">的a元素中,作者和价格在<div class="pub">的文本中(这里需要对字符串进行处理,取出‘/’ 划分的子串的第一个和最后一个),而description则在<p>元素中(后面有一些书籍没有描述,所以这里需要增加一些特殊处理), 所以得到的对书籍的处理代码如下:

def parse(self, response):
        books = []
        sel = Selector(response)
        info = sel.xpath('//li[@class="subject-item"]')
        if len(info) == 0:
            raise CloseSpider('---------------------End Search!---------------')


        f = open('books.data','a')
        for site in info.xpath('div[@class="info"]'):
            book = DoubanItem()
            book['title'] = site.xpath('h2/a/@title').extract()[0].encode('utf-8')
            book['link'] = site.xpath('h2/a/@href').extract()[0].encode('utf-8')
            pub = site.xpath('div[@class="pub"]/text()').extract()[0].encode('utf-8')
            pub = pub.strip().split('/')

            book['author'] = pub[0]
            book['price'] = pub[-1]
            desc = site.xpath('p/text()').extract()
            book['desc'] =  desc[0].encode('utf-8') if (len(desc) != 0) else ''
            print('-----------------lALALALALALA----------------------------------------------')
            print(book['title'])
            print(book['link'])
            print(book['author'])
            print(book['price'])
            print(book['desc'])
            ss = "{'title': '" + book['title'] + "' , " + "'link': '" + book['link'] + "' , " + "'author': '" + book['author'] + "' , " + "'price': '" + book['price'] + "' , " + "'desc': '" + book['desc'] + "'}"
            target = json.dumps(ss, ensure_ascii=False)   
            f.write(target+'\n')
            print('-----------------lALALALALALA----------------------------------------------\n\n')
            books.append(book)
            yield book         

 

 

2)返回Request,继续抓取下一页面

查看源码只需每次返回下一页的链接(注意url是采用utf-8编码,关于编码的知识这两篇博客写得很好,给博主赞一个:http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html),也就是找到<span class="next">元素,抽取其中的href链接,然后并上“http://book.douban.com”即可得到下一页的连接,最后使用 yield scrapy.Request(new_url, callback=self.parse) 会默认递归继续执行下去。

 1         <div class="paginator">
 2         <span class="prev">
 3             &lt;前页
 4         </span>
 5         
 6         
 7 
 8                 <span class="thispage">1</span>
 9                 
10             <a href="/tag/编程?start=20&amp;type=T" >2</a>
11         
12                 
13             <a href="/tag/编程?start=40&amp;type=T" >3</a>
14         
15                 
16             <a href="/tag/编程?start=60&amp;type=T" >4</a>
17         
18                 
19             <a href="/tag/编程?start=80&amp;type=T" >5</a>
20         
21                 
22             <a href="/tag/编程?start=100&amp;type=T" >6</a>
23         
24                 
25             <a href="/tag/编程?start=120&amp;type=T" >7</a>
26         
27                 
28             <a href="/tag/编程?start=140&amp;type=T" >8</a>
29         
30                 
31             <a href="/tag/编程?start=160&amp;type=T" >9</a>
32         
33             <span class="break">...</span>
34                 
35             <a href="/tag/编程?start=1900&amp;type=T" >96</a>
36         
37             <a href="/tag/编程?start=1920&amp;type=T" >97</a>
38         
39         <span class="next">
40             <link rel="next" href="/tag/编程?start=20&amp;type=T"/>
41             <a href="/tag/编程?start=20&amp;type=T" >后页&gt;</a>
42         </span>
43 
44         </div>

 

 

四、这样子只要在主目录下面运行 scrapy crawl sola就可以得到所有1000本书籍的信息(终端及books.data)

  当爬取到没有书籍的时候应及时关掉爬虫~~

  结果如下:

  这里本可以使用 -o items.json 自动生成一个json文件,但是得到的文件始终无法显示中文,经过一整天的查找与尝试猜测scrapy框架里面可能是使用dumps()函数时没有给第二个参数ensure_ascii 赋值为False, 导致只能以Ascll码解析为json文件。希望知道如何输出为中文的朋友指点一下~

 

 sola.py 代码:

import scrapy
import json
from scrapy.selector import Selector
from scrapy.spider import Spider
from douban.items import DoubanItem
from scrapy.exceptions import CloseSpider

class DoubanSpider(Spider):
    name = 'sola'
    allowed_domains = ['book.douban.com']
    start_urls = [
            'http://book.douban.com/tag/%E7%BC%96%E7%A8%8B'
            ]

    def parse(self, response):
        books = []
        sel = Selector(response)
        info = sel.xpath('//li[@class="subject-item"]')
        if len(info) == 0:
            raise CloseSpider('---------------------End Search!---------------')


        f = open('books.data','a')
        for site in info.xpath('div[@class="info"]'):
            book = DoubanItem()
            book['title'] = site.xpath('h2/a/@title').extract()[0].encode('utf-8')
            book['link'] = site.xpath('h2/a/@href').extract()[0].encode('utf-8')
            pub = site.xpath('div[@class="pub"]/text()').extract()[0].encode('utf-8')
            pub = pub.strip().split('/')

            book['author'] = pub[0]
            book['price'] = pub[-1]
            desc = site.xpath('p/text()').extract()
            book['desc'] =  desc[0].encode('utf-8') if (len(desc) != 0) else ''
            print('-----------------lALALALALALA----------------------------------------------')
            print(book['title'])
            print(book['link'])
            print(book['author'])
            print(book['price'])
            print(book['desc'])
            ss = "{'title': '" + book['title'] + "' , " + "'link': '" + book['link'] + "' , " + "'author': '" + book['author'] + "' , " + "'price': '" + book['price'] + "' , " + "'desc': '" + book['desc'] + "'}"
            print ss
            target = json.dumps(ss, ensure_ascii=False)
            print target
            f.write(target+'\n')
            print('-----------------lALALALALALA----------------------------------------------\n\n')
            books.append(book)
            yield book


        f.close()

        site = sel.xpath('//span[@class="next"]/a/@href').extract()[0]
        print('url: ' + response.url)
        print('site: ' + site)
        temp = response.url.split('/')
        new_url = temp[0]
        i = 1
        while i < len(temp)-2:
           new_url += '/' + temp[i]
           i += 1
        new_url += site
        new_url = new_url.encode('utf-8')
        print('url: ' + new_url)
        yield scrapy.Request(new_url, callback=self.parse)
View Code

 

 五、将数据存储到MySQL数据库中,因为parse处理得到的item都要提交到pipeline那里经过process_item() 函数进一步的筛选才能最终保存,初始化的工程中,pipelines.py里面的process_item()函数默认实现是对所有item都“pass“,所以需要修改这个函数自定义一些规则来筛选,此处将item保存到数据库中。

  首先要在MySQL数据库中新建一个数据库sola和一个表格book,这里为了终端显示方便,只保存了title,author和price三个信息,为了避免陷入麻烦的mysql服务端的中文编码问题,可以在建立表格的时候默认使用 charset = utf8

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html

import MySQLdb

class DoubanPipeline(object):
    def __init__(self):
    #使用connect连接数据库,编码使用charset='utf8'
        self.conn = MySQLdb.connect(host='localhost', user='root', passwd='123', charset='utf8')
    #获取一个cursor对象以执行命令
        self.curs = self.conn.cursor()
    #选择数据库
        self.conn.select_db('sola')
    def process_item(self, item, spider):
    
    #插入新元素
        self.curs.execute('INSERT INTO book VALUES(%s, %s, %s)', (item["title"], item["author"], item["price"]))
    #执行操作后需要提交才有效
        self.conn.commit()
        return item