scrapy 爬取图片
1.scrapy 有下载图片的自带接口,不用我们在去实现
setting.py设置
# 保存log信息的文件名
LOG_LEVEL = "INFO"
# LOG_STDOUT = True
# LOG_ENCODING = 'utf-8'
# # 路径 os.path.dirname(os.path.dirname(os.path.dirname(__file__)))
# LOG_FILE = "info.log"
# 下载延迟
import random
DOWNLOAD_DELAY = random.random() + random.random()
RANDOMIZE_DOWNLOAD_DELAY = True
# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36'
# 图片下载路径
import os
BASE_DIR = os.path.dirname((os.path.abspath(__file__)))
MEDIA_ALLOW_REDIRECTS = True
IMAGES_STORE = os.path.join(BASE_DIR, "images")
# 在配置文件settings.py中设置IMAGES_THUMBS，它是一个字典，每一项的值是缩略图的尺寸。 开启这个功能后，下载一张图片时，本地会出现3张图片，1张原图片，2张缩略图。
IMAGES_THUMBS = {
'small': (50, 50),
'big': (270, 270),
}
＃ 设置图文件过期时间 30天
IMAGES_EXPIRES = 30
# 在配置文件settings.py中设置IMAGES_MIN_HEIGHT和IMAGES_MIN_WIDTH，它们分别指定需要过滤掉的最小尺寸图片的宽和高。
IMAGES_MIN_WIDTH = 110 # 最小宽度
IMAGES_MIN_HEIGHT = 110 # 最小高度
ITEM_PIPELINES = {
'steam_image.pipelines.SteamImagePipeline': 300,
'steam_image.pipelines.SteamDownLoadPipeline': 100, # 开启下载下载中间件
}
2.spider
# -*- coding: utf-8 -*-
import scrapy, pymysql, copy
class ImagesSpider(scrapy.Spider):
name = 'images'
allowed_domains = ['.com']
start_urls = ['https://www.baidu.com/']
def parse(self, response):
db = pymysql.connect(host='localhost', port=3306, database='game', user='root', password='root',
charset='utf8', autocommit=True)
cursor = db.cursor()
cursor.execute(
'SELECT id, appid, steam_image, steam_image_600_338 from steam_game_image WHERE id<5') # 获取图片url
for appid in cursor.fetchall():
for i in range(2, 4):
item = {}
item['id'] = appid[0]
item['appid'] = appid[1]
item['image_url'] = appid[i] # 下载图片的url 前面要自己获取到 图片的url 可以自己爬
item['img_name'] = str(item['appid']) + '_' + appid[i].split('/')[-1].split('?')[0] # 后面图片要命名的名称
yield item
3.pipelines.py
# -*- coding: utf-8 -*-
from scrapy.pipelines.images import ImagesPipeline # 导入图片类
import scrapy, os
from steam_image.settings import IMAGES_STORE as IMGS # 导入图片保存路径
class SteamImagePipeline(object):
def process_item(self, item, spider):
return item
# 下载图片管道
class SteamDownLoadPipeline(ImagesPipeline):
def get_media_requests(self, item, info):
yield scrapy.Request(item['image_url']) # 下载图片
def item_completed(self, results, item, info):
print('******the results is********:', results)
# results = [(True, {'url': 'http://img.ivsky.com/img/bizhi/pre/201101/10/harry_potter5-015.jpg', 'path': 'full/539c5914730497b094e5c98bfdfe19b65f5.jpg', 'checksum': '37d23ffb0ab983ac2da9a9d'})]
# 真实结构为一个list [(DownLoad_success_or_failure)，dict]，字典中含有三个键：1、'url'：图片路径 2、'path'：图片下载后的保存路径 3、'checksum'：校验码
if results[0][0]: # 可以判断图片下载是否成功 成功显示 Trur 失败显示False
try:
os.rename(IMGS + '\\' + results[0][1]['path'],
IMGS + '\\' + item['img_name']) # 默认图片命名是嘻哈值 这里我们要改成自己的需要的图片名称 item['img_name] 是spider我们自己定义传过的
except Exception as e:
print('错误类型:{}'.format(e)) # 如果这个文件名称 我们前面的重命名回报错,这里我们要捕捉一下
def close_spider(self, spider):
# 完成后删除full目录 默认图片下载在你下载目录下回生成一个full文件, 你下载的图片默认回放在这个文件中
os.removedirs(IMGS + '\\' + 'full')
