Python之Scrapy爬虫框架 入门实例（一）

一、开发环境

　　1.安装 scrapy

　　2.安装 python2.7

　　3.安装编辑器 PyCharm

二、创建scrapy项目pachong

　　1.在命令行输入命令：scrapy startproject  pachong 

　　　(pachong 为项目的名称，可以改变)

　　   

　　2.打开编辑器PyCharm，将刚刚创建的项目pachong导入。

　　  （点击file—>选择open—>输入或选择E:\pachong—>点击ok）

　　   

三、创建scrapy爬虫文件pachong_spider.py

　　在pachong_spider.py这个文件夹中编写爬取网站数据的内容。

　　（右击文件spiders—>选择New，在选择PhthonFile—>输入文件名pachong_spider）

　　

四、编写爬虫pachong

　　将 网址  http://lab.scrapyd.cn/   博客中的所有博客标题和博客标签，以作者名-语录为名分别保存在各自作者对应的txt文件中。

　　1.查看http://lab.scrapyd.cn/源代码，获取自己所需的博客标题、作者、标签三个内容的对应HTML标签信息。

　　

　　2.获取网址的内容，保存到变量pachong里。

　　（分析HTML结构，每一段需要提取的内容都被一个 <div class="quote post">……</div> 包裹。）

　　

　　3.获取循环获取标题、作者的第一个内容，和对应标签的内容，并对标签的内容进行逗号分隔后，进行分类保存。

　　

　　4.查看下一页的HTML标签，对下一页获取的内容进行循环。

　　   （查看存在不存在下一页的链接，如果存在下一页，把下一页的内容提交给parse然后继续爬取。如果不存在下一页链接结束爬取。）

　     　

　   　

 　　5.爬虫源代码。 

# -*- coding: utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
#Python 默认脚本文件都是 UTF-8 编码的,当脚本出现中文汉字时需要对其进行解码。
import scrapy
class itemSpider(scrapy.Spider):
    # scrapy.Spider 是一个简单的爬虫类型。
    # 它只是提供了一个默认start_requests()实现。
    # 它从start_urlsspider属性发送请求，并parse 为每个结果响应调用spider的方法。
    name ="pachong"
    # 定义此爬虫名称的字符串。
    # 它必须是唯一的。
    start_urls = ['http://lab.scrapyd.cn']
    #爬虫抓取自己需要的网址列表。
    #该网站列表可以是多个。
    def parse(self, response):
        # 定义一个parse规则，用来爬取自己需要的网站信息。
        pachong = response.css('div.quote')
        # 用变量pachong来保存获取网站的部分内容。
        for v in pachong:
            text = v.css('.text::text').extract_first()
            autor = v.css('.author::text').extract_first()
            tags = v.css('.tags .tag::text').extract()
            tags = ','.join(tags)
            # 循环提取所有的标题、作者和标签内容。
            fileName = u'%s-语录.txt' % autor
            # 文件的名称为作者名字—语录.txt。
            with open(fileName, "a+")as f:
                f.write(u'标题：'+text)
                f.write('\n')
                f.write(u'标签：' + tags)
                f.write('\n------------------------------------------------\n')
                # 打开文件并写入标题和标签内容。
                f.close()
                # 关闭文件
            next_page = response.css('li.next a::attr(href)').extract_first()
            if next_page is not None:
                next_page = response.urljoin(next_page)
                yield scrapy.Request(next_page, callback=self.parse)
                # 查看存在不存在下一页的链接，如果存在下一页，把下一页的内容提交给parse然后继续爬取。
                # 如果不存在下一页链接结束爬取。

 

五、运行爬虫pachong

　　1.在命令行输入命令：scrapy crawl  pachong

　　（在pachong的目录下输入命令）

　　

　　

　　2.打开e盘 pachong文件夹，已经按要求爬取网址  http://lab.scrapyd.cn/ 的内容。