爬虫(二)之scrapy框架

 01-scrapy介绍

02-项目的目录结构：

复制代码
scrapy.cfg   项目的主配置信息。(真正爬虫相关的配置信息在settings.py 文件中)

items.py    设置数据存储模板，用于结构化数据，如：Django的model

pipelines    数据持久化处理

settings.py 配置文件

spiders      爬虫目录，如：创建文件，编写爬虫解析规则
复制代码

03-配置文件settings.py的配置

# 建议修改：
ROBOTSTXT_OBEY = False  # 默认为True

# 进行身份伪装
USER_AGENT = "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36"

04-创建项目和爬虫文件

# 创建项目
scrapy startproject firstScrapy

# 先切换到项目文件里
cd firstScrapy/

# 然后执行创建
scrapy genspider first  www.qiushibaike.com

05-执行

# 执行爬取程序, first 为爬虫文件名称

scrapy crawl first

# 此方式是阻止日志信息的输出
scrapy crawl first  --nolog

06-基于终端指令的持久化存储

复制代码
持久化存储操作：
a.磁盘文件
    a)基于终端指令
    i.保证parse方法返回一个可迭代类型的对象（存储解析到的页面内容）
    ii.使用终端指令完成数据存储到制定磁盘文件中的操作
    1.scrapy crawl 爬虫文件名称 –o 磁盘文件.后缀
b)基于管道
    i.items：存储解析到的页面数据
    ii.pipelines：处理持久化存储的相关操作
    iii.代码实现流程：
        1.将解析到的页面数据存储到items对象
        2.使用yield关键字将items提交给管道文件进行处理
        3.在管道文件中编写代码完成数据存储的操作
        4.在配置文件中开启管道操作

b.数据库
    a)mysql
    b)redis
    c)编码流程：
        1.将解析到的页面数据存储到items对象
        2.使用yield关键字将items提交给管道文件进行处理
        3.在管道文件中编写代码完成数据存储的操作
        4.在配置文件中开启管道操作

需求：将爬取到的数据值分别存储到本地磁盘、redis数据库、mysql数据。
    1.需要在管道文件中编写对应平台的管道类
    2.在配置文件中对自定义的管道类进行生效操
复制代码
复制代码
# 案例：
# firstScrapy/spiders/first.py

# -*- coding: utf-8 -*-
import scrapy


class FirstSpider(scrapy.Spider):
    # 爬虫文件的名称name
    name = 'first'
    # 允许的域名：只允许爬取当前域名下的页面数据
    # allowed_domains = ['www.qiushibaike.com/text/']

    # 起始的url：当前工程所要爬取的页面所对应的url
    # 注意：start_urls 是 allowed_domains 下的页面的url
    start_urls = ['https://www.qiushibaike.com/text/']

    # 解析方法：对获取的页面数据进行指定内容的解析
    # response:请求成功后返回的响应对象
    # parse 方法的返回值，必须为迭代器 或者为 空None
    def parse(self, response):
        # 建议大家用xpath 进行指定内容的解析(框架集成了xpath解析的接口)
        # 获取段子的内容和作者
        div_list = response.xpath('//div[@id="content-left"]/div')

        # 存储解析到的页面数据
        data_list = []
        for div in div_list:
            # xpath解析到的指定内容被存储到 Selector对象
            # extract() 该方法可以将 Selector对象 中存储的数据值拿到
            # author = div.xpath('./div/a[2]/h2/text()').extract()[0]
            # extract_first() == extract()[0]
            author = div.xpath('./div/a[2]/h2/text()').extract_first()
            content = div.xpath('.//div[@class="content"]/span/text()').extract_first()
            dict_data = {
                'author': author,
                'content': content
            }
            data_list.append(dict_data)

        return data_list
复制代码

 

# 在终端执行命令：(在first爬虫文件下)

scrapy crawl first -o qiubai.csv --nolog

07-基于管道的持久化存储

# 修改配置文件settings.py
# 打开注释
ITEM_PIPELINES = {
   'firstScrapy.pipelines.FirstscrapyPipeline': 300,
}
复制代码
# firstScrapy/first.py

# -*- coding: utf-8 -*-
import scrapy
from firstScrapy.items import FirstscrapyItem


class FirstSpider(scrapy.Spider):
    # 爬虫文件的名称name
    name = 'first'
    start_urls = ['https://www.qiushibaike.com/text/']

    def parse(self, response):
        # 获取段子的内容和作者
        div_list = response.xpath('//div[@id="content-left"]/div')

        for div in div_list:
            author = div.xpath('./div/a[2]/h2/text()').extract_first()
            content = div.xpath('.//div[@class="content"]/span/text()').extract_first()

            # 1.将解析到的数据值（author和content）存储到items对象中
            item = FirstscrapyItem()
            item['author'] = author
            item['content'] = content

            # 2.将item对象提交给管道
            yield item
复制代码

 

复制代码
# firstScrapy/items.py

import scrapy


class FirstscrapyItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    author = scrapy.Field()
    content = scrapy.Field()
复制代码
复制代码
# firstScrapy/pipelines.py


class FirstscrapyPipeline(object):
    fp = None
    # open_spider 在整个爬虫过程中，该方法只会在开始爬虫的时候，被调用一次！

    def open_spider(self, spider):
        print("开始爬虫")
        self.fp = open('./qiubai_pipe.txt', 'w', encoding='utf-8')

    # 3.在管道文件中编写代码完成数据储存的操作
    # process_item 该方法就可以接受爬虫文件中提交过来的item对象，并且对item对象中存储的页面数据进行持久化存储
    # 参数：item 表示的是 接收到的item对象
    # 每当爬虫文件向管道提交一次item，则该方法就会被执行一次！

    def process_item(self, item, spider):
        # 取出item对象中存储的数据值
        author = item['author']
        content = item['content']

        # 持久化存储
        self.fp.write(author + ':' + content + '\n\n\n')

        return item

    # 只会在爬虫结束的时候，被调用一次！

    def close_spider(self, spider):
        print('爬虫结束！')
        self.fp.close()
复制代码

08-基于MySQL的持久化存储

复制代码
# pipelines.py

import pymysql


class FirstscrapyPipeline(object):
    conn = None
    cursor = None

    def open_spider(self, spider):
        print("爬虫开始！")
        # 链接数据库
        self.conn = pymysql.Connect(host='127.0.0.1', port=3306, user='root', passwd='123456', db='qiubai')

    # 编写向数据库中存储数据的相关代码

    def process_item(self, item, spider):
        # 1.连接数据库
        # 2.执行sql语句
        sql = 'insert into qiubai values("%s", "%s")' % (item['author'], item['content'])
        self.cursor = self.conn.cursor()
        try:
            self.cursor.execute(sql)

            # 3.提交事务
            self.conn.commit()
        except Exception as e:
            print(e)
            self.conn.rollback()

        # 取出item对象中存储的数据值
        author = item['author']
        content = item['content']

        return item

    def close_spider(self, spider):
        print("爬虫结束！")
        self.cursor.close()
        self.conn.close()
复制代码

09-基于redis的持久化存储 

复制代码
# pipelines.py

import redis


class FirstscrapyPipeline(object):
    conn = None
    cursor = None

    def open_spider(self, spider):
        print("爬虫开始！")
        # 链接redis数据库
        self.conn = redis.Redis(host='127.0.0.1', port=6379)

    # 编写向数据库中存储数据的相关代码

    def process_item(self, item, spider):
        dict_data = {
            'author': item['author'],
            'content': item['content'],
        }
        self.conn.lpush('data', dict_data)

        return item
复制代码

 10-管道的高级操作

# 修改配置文件settings.py

ITEM_PIPELINES = {
   'firstScrapy.pipelines.FirstscrapyPipeline': 300,
   'firstScrapy.pipelines.FirstByFiles': 200,
   'firstScrapy.pipelines.FirstByMysql': 400,
}

 

复制代码
# 需求：将爬取到的数据值分别存储到本地磁盘、redis数据库、mysql数据。
1.需要在管道文件中编写对应平台的管道类
2.在配置文件中对自定义的管道类进行生效操作

# pipelines.py

import redis
import pymysql


class FirstscrapyPipeline(object):
    conn = None
    cursor = None

    def open_spider(self, spider):
        print("爬虫开始！")
        # 链接redis数据库
        self.conn = redis.Redis(host='127.0.0.1', port=6379)

    # 编写向数据库中存储数据的相关代码

    def process_item(self, item, spider):
        dict_data = {
            'author': item['author'],
            'content': item['content'],
        }
        self.conn.lpush('data', dict_data)

        return item


# 实现将数据值存储到本地磁盘中
class FirstByFiles(object):
    def process_item(self, item, spider):
        print('数据已经写入指定的磁盘文件中')
        return item


class FirstByMysql(object):
    def process_item(self, item, spider):
        print('数据已经写入到MySQL数据库中')

        return item
复制代码

 11-就多个url的数据爬取

复制代码
# 解决方案：请求的手动发送
# spider.py/qiubai.py

# -*- coding: utf-8 -*-
import scrapy
from qiubaiByPages.items import QiubaibypagesItem


class QiubaiSpider(scrapy.Spider):
    name = 'qiubai'
    # allowed_domains = ['www.qiushibaike.com/text']
    start_urls = ['https://www.qiushibaike.com/text/']

    # 设计一个通用的url模板
    url = 'https://www.qiushibaike.com/text/page/%d/'
    pageNum = 1

    def parse(self, response):
        div_list = response.xpath('//*[@id="content-left"]/div')

        for div in div_list:
            author = div.xpath('./div[@class="author clearfix"]/a[2]/h2/text()').extract_first()
            content = div.xpath('.//div[@class="content"]/span/text()').extract_first()

            item = QiubaibypagesItem()
            item['author'] = author
            item['content'] = content

            yield item
        # 请求的手动发送
        if self.pageNum <= 13:
            print('爬取了第%s的页面数据！' % self.pageNum)
            self.pageNum += 1
            new_url = format(self.url % self.pageNum)
            # callback 将请求获取的页面数据进行解析
            yield scrapy.Request(url=new_url, callback=self.parse)
复制代码

 

posted @   huangyanpeng  阅读(206)  评论(0)  编辑  收藏  举报
努力加载评论中...
点击右上角即可分享
微信分享提示