scrapy—图片解析（图片懒加载）

笔记

- 图片数据爬取之ImagesPipeline
    - 基于scrapy爬取字符串类型的数据和爬取图片类型的数据区别？
        - 字符串：只需要基于xpth进行解析且提交管道进行持久化存储
        - 图片：xpath解析出图片src属性值。单独的对图片地址发起请求获取图片二进制类型的数据
    - ImagesPipline：
        - 需要要将img的src属性值进行解析，提交到管道，管道就会对图片的src进行请求发送获取图片的二进制编码并进行持久化存储
    - 需求：爬取站长素材中的高清图片
    - 使用流程:
        - 数据解析（图片的地址）
        - 将存储图片地址的item提交到指定的管道类
        - 在管道文件中子定制一个基于ImagesPipeline的管道类
            - get_media_requests方法：
                - 该方法会自动将item中的图片地址进行请求发送
            - item_completed方法：
                - 该方法会自动将图片的二进制编码进行持久化存储
            - file_path方法：
                - 指定文件存储的名称跟路径
        - 在配置文件中：
            - 指定图片存储的目录：IMAGES_STORE = './img_bobo'
            - 指定开启的管道：自定制的管道类

代码

这里使用伪属性是因为 图片懒加载 当我们解析图片时 没有打开浏览器 所以不会通过鼠标滑动解析到图片的数据 所以就要使用伪属性来解析图片 这里的data-src就是伪属性

import scrapy
from imgsPro.items import ImgsproItem


class ImgSpider(scrapy.Spider):
    name = "img"
    # allowed_domains = ["www.xxx.com"]
    start_urls = ["https://aspx.sc.chinaz.com/"]

    def parse(self, response):
        div_list = response.xpath('//*[@id="ulcontent"]/div/div')
        for div in div_list:
            # 注意：使用伪属性
            src = div.xpath('./div/a/img/@data-src').extract_first()
            print(src)
            item = ImgsproItem()
            item['src'] = src
            yield item

自定义的管道类 继承ImagesPipeline

 

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
from itemadapter import ItemAdapter
from urllib.parse import quote
import scrapy
import re
#class ImgsproPipeline:
#    def process_item(self, item, spider):
#        return item
from scrapy.pipelines.images import  ImagesPipeline
class ImagesproPipeline(ImagesPipeline):
    # 就是可以根据图片地址进行图片数据的请求
    def get_media_requests(self, item, info):
        url = 'https://' + re.sub(r'\\', '/', item['src'])
        print(url)
        yield scrapy.Request(url)
    # 指定图片存储的路径
    def file_path(self, request, response=None, info=None, *, item=None):
        imgName = request.url.split('/')[-1]
        #print(imgName,'爬取成功')
        return imgName
    def item_completed(self, results, item, info):
        #print("......")
        return item  #返回给下个即将被执行的管道类

在setting类中加入

IMAGES_STORE = './img_bobo'