【python】网络爬虫抓取图片
利用python抓取网络图片的步骤:
1.根据给定的网址获取网页源代码
2.利用正则表达式把源代码中的图片地址过滤出来
3.根据过滤出来的图片地址下载网络图片
今天我们用http://www.umei.cc/作为事例,教大家爬取美女图片:
1:打开http://www.umei.cc/
2:打开网页源代码,找到图片的正则规则:
3:开始爬取
#-*-coding:utf-8-*- # 正则 import re # 网络交互 import requests # 操作系统功能 import os # 定义一个类 class Spider: #定义一个函数 def savePageInfo(self, _url, _position, _regX): # 要爬的网址 url = _url # 本地地址 position = _position # 获取网页源代码 html = requests.get(url).text
# 正则 regX = _regX pic_url = re.findall(regX,html,re.S) i = 0 for each in pic_url: pic = requests.get( each ) print url + each # 如果文件夹不存在,则创建一个文件夹 if not os.path.isdir(position): os.makedirs(position) fp = open( position+str(i)+'.jpg', 'wb' ) fp.write(pic.content) # print position+each fp.close() i+=1 #===================网页爬取图片======================== position_end = '' # 要爬的网址 url = 'http://www.umei.cc/' + position_end # 本地地址 position = '/Users/edison/Desktop/1/' + position_end # 正则 regX = '_blank\'><img src=(.*?) t' #参数 url, 储存位置, 爬取的正则 spider = Spider() spider.savePageInfo(url, position, regX)
三分钟学会,如囊中取物。
工具:PyCharm
MT.Team