使用Python制作第一个爬虫程序

     用到的开发环境

　　IDE：pycharm   

　　python  version ：2.7  

掌握的知识:  Pycharm  还能更改Python的版本

代码如下：（重点就是   正则表达式的学习）

# !/usr/bin/python
# -*- coding:utf-8 -*-

# 功能说明  使用Python 批量爬取网络上的图片下载
import re
import urllib
# 首先打开网页 获取网页的源代码
html = urllib.urlopen("http://www.woyaogexing.com/touxiang/")
htmlCode = html.read()

# 然后使用正则表达式 匹配图片的地址
imageList = re.findall('src="(.*?\.(jpg|png))"', htmlCode)

# 循环获取列表中的图片地址
j = 0
for i in imageList:
    imgUrl = i[0]
    urllib.urlretrieve(imgUrl, './images/%d.jpg'%j)
    j+=1;

 

爬取图片的网址：http://www.woyaogexing.com/touxiang/

 

爬取图片的效果