Python 爬虫5——爬取并下载网页指定规格的图片

        看完上篇文档之后，我们对于正则表达式已经有了基本的了解，其实学习最有效的办法就是带着问题和目的，这里我们假设有一个目标：获取某个网页上指定规格的图片的链接地址，并下载到本地。

        

一、实现步骤：

1.在浏览器中打开某个网页，例如：http://tieba.baidu.com/p/4691693167

 

2.假设我们要下载该页面中的几张大图，那么我们需要获取图片的url，这其实需要有两步操作来获取，一是先知道该图片的url，二是查看当前网页的html内容找到包含此url地址的格式，这样我们就能通过正则表达式把它筛选出来：

        得到图片名称的步骤很简单，直接右键图片选择“属性”即可看到：

        

        复制该地址，关闭属性界面，按键盘F12可查看当前网页的html内容，搜索上面图片的url地址，可以找到：

  

3.设计正则表达式为：r'src="(.+?\.jpg)" width'，这里width其实是额外的信息，用来过滤规格之外的其他图片url，相当于附加筛选信息。

 

二、下载图片保存到本地：

        其实在urllib库中已经继承了这样的方法，这个方法就是urllib.urlretrieve()，直接将远程数据加载到本地，例如：

urllib.urlretrieve(imgurl,'%s.jpg' % name)

        imgurl是目标图片的url地址，name是图片保存到本地后的名称。
        由于获取到的图片url可能是多个，所以使用循环体调用urllib.urlretrieve()方法，将符合规格的图片加载到本地。

 

 

三、实现代码：

# encoding: UTF-8  
import urllib  
import re  
  
def getHtml(url):  
    response = urllib.urlopen(url)  
    html = response.read()  
    return html  
  
#获取目标url的html内容  
html = getHtml("http://tieba.baidu.com/p/4691693167")  
  
#获取图片的url并下载到本地  
def getImg(html):  
    reg = r'src="(.+?\.jpg)" width'  
    imgre = re.compile(reg)  
    imglist = re.findall(imgre,html)  
    x=0  
    #使用循环图加载图片  
    for imgurl in imglist:  
        urllib.urlretrieve(imgurl,'%s.jpg' % x)  
        x+=1  
  
#开始加载图片  
getImg(html)  

 

        不难看出，其实关键点还是在于目标信息的筛选正则表达式的设计，上述脚本运行结果为目标图片被保存到本地脚本所在的目录下面：