Python-urllib学习记录

urllib是python自带库，不要专门安装，还挺好用的。

脚本语言的好处之一就是随写随用，有些东西用C语言写真的是能把人累死，换成python就是几行代码，so easy,对于喜欢偷懒的同学绝对是上帝的礼物~~~

 

目前我用到的两个常用函数是urlopen， read,  urlretrieve这三个函数，讲一下简单的功能，看其他的请移步https://docs.python.org/2/library/urllib.html#urllib.urlopen。

urlopen函数可以用来打开http的网页链接，挺好用的，然后read函数能够直接获取html文本。样例脚本如下：

import urllib

url_obj = urllib.urlopen ( 'http://www.cnblogs.com/' )
htmlfile = url_obj.read ()

代码只有2行，第一行是打开这个网站，第二行是直接获取html的文件，操作流程很简单，有这个基础，组织下数据存储，搞个网页爬虫的基础就有了。

然后在网上看了下，有这样一段代码，用来扒网站上图片的：

#coding=utf-8
import urllib
import re

def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html

def getImg(html):
    reg = r'src="(.+?\.jpg)" pic_ext'
    imgre = re.compile(reg)
    imglist = re.findall(imgre,html)
    x = 0
    for imgurl in imglist:
        urllib.urlretrieve(imgurl,'%s.jpg' % x)
        x+=1
    return x


html = getHtml("http://tieba.baidu.com/p/2460150866")

print getImg(html)

上面这段示例代码水平写得挺不错的，应该是经常使用python的高手写的，没什么多余的东西，刀刀入肉。python网站上写的这个函数介绍。

在urlretrieve函数中如果只传入两个参数，那么第二个参数将作为文件名，保存在python脚本文件所在的路径下。应该也是支持绝对路径的。试验了一下，确实支持。

研究了下这个函数的入参格式，也是http\https格式开头的url：

然后看了下代码的格式，写正则表达式的时候，用了()，应该是通过这个取出来的，python的正则表达式之前用过，已经过去好久了。