#目前学的爬虫还有潭州教育的直播课,都是千篇一律的requests urllib 下面这个也是,还没有我后面的下载网易云歌单爽来都用到多线程了不过可以用协程,完全异步
1 #！/usr/bin/env/python
2 #-*-coding:utf-8-*-
3
4 '''
5 2018-5-9 20:16:57
6 下次查明原因
7 不会知道为什么报错
8 2018-5-10 19:32:39开始重新看视频
9 把那个代码删了重新编码一下
10 一切运行成功
11 代码没错应该是网站封我ip了 还是很不错的
12 py爬虫还是很强大的
13 2018-5-10 21:12:37
14 '''
15 import requests #这个是访问http协议的模块
16 from urllib.request import urlopen,urlretrieve,urljoin,Request
17 import time #尽量来点休眠
18 import re
19
20 url = 'http://www.mm131.com/xinggan/'
21
22 def get_img(url,path,ref):
23 #url: jpg地址图像真正的地址
24 #path: 图像下载之后保存的路径
25 #ref: 图像的ref值
26 headers = {
27 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
28 'Referer':ref
29 }
30 req = Request(url=url,headers=headers)
31 res = urlopen(req).read()
32 with open(path,'wb') as fp:
33 fp.write(res)
34
35 def download(home_url):
36 #一级列表页面
37 html = requests.get(home_url).content.decode('gbk')
38 urls = re.findall('list_6_[0-9]+.html',html) #相对路径
39 urls = [urljoin(home_url,url) for url in urls]
40
41 # 二级列表页
42 #http://www.mm131.com/qingchun/3982.html
43 urls_2 =[]
44 for url in set(urls):#从一级列表页下面去出来每一个链接
45 html = requests.get(url).content.decode('gbk')
46 for i in re.findall('http://www.mm131.com/xinggan/[0-9]+.html',html):
47 urls_2.append(i)
48 print(urls_2)
49 # 三级列表页
50 #3961_3.html
51 urls_3 = []
52 for url in set(urls_2):
53 html = requests.get(url).content.decode('gbk')
54 for i in re.findall('[0-9_]+.html',html):
55 urls_3.append(i)
56
57 pic_url = {}#key值唯一.不需要额外去重
58 # 字典中:
59 # key: 图像地址
60 # value: Referer值
61 # ..jpg:...3333_1.html
62 # 从这个一个个的图片展示页面下提取真正的图片地址.jpg
63 for url in set(urls_3):
64 # http://img1.mm131.me/pic/3961/2.jpg
65 # http://img1.mm131.me/pic/3961/3.jpg
66 # http://img1.mm131.me/pic/[0-9]+/[0-9]+.jpg
67 html = requests.get(url).content.decode('gbk')
68 try:
69 i = re.findall('http://img1.mm131.me/pic/[0-9]+/[0-9]+.jpg', html)[0]
70 except:
71 print("[Error] 无效的链接:", url)
72 else:
73 pic_url[i] = url
74 # 从展示页面下，右键是可以看到的
75 # 但是直接通过url链接去访问就是不行的
76 # 防盗链
77 index = 0
78 for url in pic_url:
79 # key: 下载地址
80 # value: ref值
81 print('[+] 当前下载%d张:%s' % (index, url))
82 get_img(url=url, path=str(index) + '.jpg', ref=pic_url[url])
83 index += 1
84
85 download(url)
