使用Python制作第一个爬虫程序
用到的开发环境
IDE:pycharm
python version :2.7
掌握的知识: Pycharm 还能更改Python的版本
代码如下:(重点就是 正则表达式的学习)
# !/usr/bin/python # -*- coding:utf-8 -*- # 功能说明 使用Python 批量爬取网络上的图片下载 import re import urllib # 首先打开网页 获取网页的源代码 html = urllib.urlopen("http://www.woyaogexing.com/touxiang/") htmlCode = html.read() # 然后使用正则表达式 匹配图片的地址 imageList = re.findall('src="(.*?\.(jpg|png))"', htmlCode) # 循环获取列表中的图片地址 j = 0 for i in imageList: imgUrl = i[0] urllib.urlretrieve(imgUrl, './images/%d.jpg'%j) j+=1;
爬取图片的网址:http://www.woyaogexing.com/touxiang/
爬取图片的效果