Python抓取糗事百科成人版图片
最近开始学习爬虫,一开始看的是静觅的爬虫系列文章,今天看到糗事百科成人版,心里就邪恶了一下,把图片都爬下来吧,哈哈~
虽然后来实现了,但还是存在一些问题,暂且不提,先切入正题吧,没什么好说的,直接上代码如下:
环境:Python2.79
1 #coding: utf-8 2 import urllib2 3 import urllib 4 import re 5 import os 6 7 #糗百成人版抓取图片 8 class QBAdult: 9 10 #类初始化 11 def __init__(self): 12 self.baseURL = "http://www.qiubaichengnian.com/" 13 #获取索引页面内容 14 def getPage(self, pageIndex): 15 url = self.baseURL + "index_" + str(pageIndex) + ".html" 16 req_header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11', 17 'Accept':'text/html;q=0.9,*/*;q=0.8', 18 'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3', 19 'Accept-Encoding':'gzip', 20 'Connection':'close', 21 'Referer':None #注意如果依然不能抓取的话,这里可以设置抓取网站的host 22 } 23 req_timeout = 5 24 request = urllib2.Request(url, None, req_header) 25 reponse = urllib2.urlopen(request, None, req_timeout) 26 #print reponse.read().decode('gbk') 27 return reponse.read().decode('gbk') 28 29 #获取页面所有条目信息,list格式 30 def getContents(self, pageIndex): 31 page = self.getPage(pageIndex) 32 pattern = re.compile('div class="ui-module".*?<a href=.*?>(.*?)</a>.*?<img.*?src="(.*?)"', re.S) 33 items = re.findall(pattern, page) 34 #for item in items: 35 #print item[0], item[1] 36 return items 37 38 39 #获取页面所有图片 40 def getAllImgs(self, items): 41 42 images = [] 43 for item in items: 44 images.append(item[1]) 45 return images 46 47 48 #保存多张图片 49 def saveAllImg(self, images, n, name): 50 number = 1 51 print u"--------------正在保存第", n , u"页美女图片-------------" 52 for imageURL in images: 53 splitPath = imageURL.split('.') 54 fTail = splitPath.pop() 55 fileName = name + "/" + str(n) + "-" + str(number) + "." + fTail 56 self.saveImg(imageURL, fileName) 57 number += 1 58 59 60 #传入图片地址,文件名,保存单张图片 61 def saveImg(self, imageURL, fileName): 62 u = urllib.urlopen(imageURL) 63 data = u.read() 64 f = open(fileName, 'wb') 65 f.write(data) 66 print u"正在保存美女图片", fileName 67 f.close() 68 69 #创建新目录 70 def mkdir(self, path): 71 path = path.strip() 72 #判断是否存在 73 isExists = os.path.exists(path) 74 if not isExists: 75 print u"新建名字为", path, u"的文件夹" 76 os.makedirs(path) 77 return True 78 else: 79 #如果目录存在则不创建,并提示目录已存在 80 print u"名为", path, u"的文件夹已经创建成功" 81 return False 82 83 84 def savePageInfos(self, start, end): 85 fileName = "beautifull" 86 #获取一页内容,存入beautifull文件夹 87 self.mkdir(fileName) 88 for i in range(start, end+1): 89 print u"正在保存第", i, "页的美女图片" 90 contents = self.getContents(i) 91 images = self.getAllImgs(contents) 92 self.saveAllImg(images, i, fileName) 93 94 95 qAdult = QBAdult() 96 qAdult.savePageInfos(1, 301)
其中16-23行的代码是后来出现IOERROR以及超时等错误后加上的,但是这种方法只是治标不治本,时不时程序还会停止,错误如下:
小规模抓取图片,几百页抓取会出现如上问题,我还没有找到什么原因。。。。
点滴积累,点滴生活,丰富研究生生活!