上善若水,不进则退

姚毛毛

左手代码,右手写诗

linuxido.com

python3爬取女神图片,破解盗链问题

前言

其实,抓取图片和抓取小说内容没有任何本质的区别,步骤都是一样的。

但是图片读取的时候,会遇到一个盗链问题。这个问题是花的解决时间最长的。

环境

语言: python3

操作系统: mac 10.12.16

自定义工具包:soup_tool

其依赖工具如下:

from urllib import request
from urllib.parse import quote
from bs4 import BeautifulSoup
import os
import threading
import re
import ssl

version 0.1 单个网址链接抓取所有特定图片

抓取分析

首先打开单个美女图片集
https://www.nvshens.com/g/24816

可以看到我标注的

使用chrome的检查功能,可以看到当前页有3张我们想要的图片

其中,可以以第二张图片的格式作为模板

只要替换001直到002、003、……、044

再找下图片总共有多少张,看我标注的count就可以了

这样就可以不用分页去抓取了。

至此,基本分析完毕,开始动手吧

动手实战

因为之前爬取小说网站的积累,写了一个工具类,主要就是用了request请求链接,BeautifulSoup解析网页,ssl解决https问题

工具类代码不一一贴出来了,最后会给个本项目github的地址

1.首先是初始化,建立class

class Capture:

引用自定义工具类

from soup_tool import Soup

from soup_tool import MyThread

然后定义初始化的一些参数

def __init__(self):
    self.index_page_url = 'http://www.nvshens.com'
    # 作品内容主页
    self.one_page_url = 'https://www.nvshens.com/g/:key/'
    # root folder
    self.folder_path = 'nvshens/'
    # 每个线程的沉睡时间
    self.sleep_time = 2
    # 后缀
    self.file_hz = '.img'

2.根据key来检索分析图集主页

接着,我们得将本网页的获取做成动态的,将网址

https://www.nvshens.com/g/24816

中的24816作为搜索key

定义一个方法 readPageFromSearch

def readPageFromSearch(self, search_key):
    """
    根据输入key读取搜索页面
    :param search_key:
    :return:
    """   

方法里,第一个事,先建立个根目录

     # 创建文件夹 /nvshens/search_key
    path = self.folder_path + search_key
    Soup.create_folder(path)   

然后打开美女图集第一页,使用soup解析

	 # 打开搜索页面第1页
    page_url = self.one_page_url.replace(':key', search_key)
    print(page_url)
    soup_html = Soup.get_soup(page_url)

从soup中取到id是dinfo的div,然后找到里面的span,获取其中的文本,再处理掉“张照片”几个字,得到最大图片张数

	text_page = soup_html.find("div", {'id': 'dinfo'}).find('span').get_text()
    print('text_page', text_page)
    last = text_page.replace('张照片', '')
    item_size = int(last)      

再接着,我们要找到模板,但是第一张照片也不能不管,所以先从第一张获取,我们先看下规律

   # 第1张 
   https://img.onvshen.com:85/gallery/25366/24816/0.jpg
   # 第2张
   https://img.onvshen.com:85/gallery/25366/24816/001.jpg
   # 第3张
   ttps://img.onvshen.com:85/gallery/25366/24816/002.jpg

这样,我们应该就知道怎么办了,取到第一张后,使用soup的find_next_sibling方法获取下一个标签节点

    # 第1张图片
    image_one = soup_html.find("ul", {'id': 'hgallery'}).find('img')
    image_one_url = image_one.get('src')
    print('image_one_url', image_one_url)

    # 第2张图片链接作为模版
    image_two = image_one.find_next_sibling()
    image_two_url = image_two.get('src')
    print('image_two_url', image_two_url)

然后,根据第二章的url,首先用"/"分割,取最右一组数,得到“24816/001.jpg”,在用"."分割,获取后缀,知道是jpg还是png

    # https://img.onvshen.com:85/gallery/25366/24816/001.jpg 
    # 24816/001.jpg
    img_hz = image_two_url.split("/")[-1]
    # jpg
    file_hz = img_hz.split('.')[1]
    # https://img.onvshen.com:85/gallery/25366
    img_mod_url = image_two_url.replace(img_hz, '')

3.多线程读取图片链接

定义readPageByThread 方法
将前面的

  • 最大图片数 item_size
  • 文件存放目录 path
  • 模板url img_mod_url
  • 文件后缀 file_hz

全部作为参数传进来

# 多线程读取,每个图片下载都是一个线程
def readPageByThread(self, item_size, path, img_mod_url, file_hz):
    """
    :param item_size: 最大图片数
    :param path: 文件存放目录
    :param img_mod_url: 模板url 
    :param file_hz: 文件后缀 
    :return:
    """

循环 item_size,使用zfill方法左侧补零

    # 循环打开图片链接
    for item in range(1, item_size):
        # 左侧补零 1->001,2->002,……,114->114
        page = str(item + 1).zfill(3)
        new_page_url = img_mod_url + page + '.' + file_hz
        new_path = path + '/' + page + '.' + file_hz
        print(new_path, '---', new_page_url)  

使用自定义的多线程方法,将本次线程收集起来,参数传进 readPagetoTxt 方法中

        t = MyThread(self.readPagetoTxt, (new_page_url, new_path, self.sleep_time), self.readPagetoTxt.__name__)
        threads.append(t)

开启线程,并join阻塞

    for t in threads:
        t.start()
    for t in threads:
        t.join()

    print('all end', ctime())

4.读取图片内容并写入

这是本次图片抓取的重点了,在晚上搜索了很多内容,找到以下方法

urllib.request.urlretrieve

亲测,对于破解盗链没有任何作用

那么,真正的破盗链怎么搞呢?搜到了一个哥们的文章

go语言 grequests+goquery 简单爬虫,使用多协程并发爬取

其中有一段代码是这样的

  Headers:map[string]string{  
                            "Referer":"http://www.zngirls.com",  
                            "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36"}})  

这heads不只设置了User-Agent,还有Referer,艾?这是啥?我试试

将Referer设置为咱们的index_page_url(http://www.nvshens.com),果然可以了。为什么呢?

原来Referer表示一个来源,代表是从哪个网站请求web服务器的,我们将Referer设置为http://www.nvshens.com,代表的其实是从它自身网站请求访问的。

具体请参考这个哥们的文章什么是HTTP Referer?

当然,这也主要是这个网站的开发人员只用了Referer来作为防盗链的判断,如果不是Referer而是换成别的,那就又要重新破解了。

好了,写我们的代码吧,为head添加个Referer的属性,这Soup_tool类中

_HEAD2 = {
    # Referer 抓取哪个网站的图片,添加此头部,可以破解盗链
    "Referer": "",
    'Accept-language': 'zh-CN,zh;q=0.9'
    ,
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
}

@staticmethod
def open_url(query_url, referer=''):
    Soup._HEAD2['Referer'] = referer
    req = request.Request(quote(query_url, safe='/:?='), headers=Soup._HEAD2)
    webpage = request.urlopen(req)
    html = webpage.read()
    return html
    
@staticmethod
def write_img(query_url, file_name, referer):
    content = Soup.open_url(query_url, referer)
    with open(file_name, 'wb') as f:
        f.write(content)

回到我们的Capture类:

    # 使用Request添加头部的方法,读取图片链接再写入,最重要的是加上Referer
    Soup.write_img(page_url, path, referer=self.index_page_url)	

后记

还有v0.2、v0.3版本

这是v0.2的分析截图

https://www.nvshens.com/gallery/

https://www.nvshens.com/gallery/dudou/

分析思路是一样的,就不再细说了,自己看源码

看下下载后呈现的效果

最后放出代码链接

github

https://github.com/kiok1210/nvshens_img

参考文献:

go语言 grequests+goquery 简单爬虫,使用多协程并发爬取

什么是HTTP Referer?

posted @ 2018-04-22 10:30  姚毛毛  阅读(4660)  评论(0编辑  收藏  举报