Python爬虫1-----urllib模块
1、加载urllib模块的request
from urllib import request
2、相关函数:
(1)urlopen函数:读取网页
- webpage=request.urlopen(url,timeout=1) 【读取网页,参数timeout表示1秒之后为超时,遇到无效网页时可以跳过】
- data=webpage.read() 【读取页面内容】
【使用webpage.read()读取的页面内容text内容为bytes-object,打印内容为b’……‘】
- data=data.decode('utf-8') 【解码】
【text为bytes-object,将其转换为字符串text.decode(),默认参数为空,也可使用编码方式参数,格式为decode(“gb2312”)。】
- pat='<div class="name">(.*?)</div>'
res=re.compile(pat).findall(str(data))【记得str(data)】
【无法直接使用到re.search(),使用前需要转换为string类型。res就是获取的内容】
(2)urlretrieve函数:读取网页并可以保存在本地,成为本地网页
- urllib.request.urlretrieve( url , filename=" 本地文件地址//1.html" )
(3)urlcleanup()函数:使用urlretrieve函数会导致一些缓存,使用它可以清除。
- urllib.request.urlcleanup()
(4)info()函数:返回网页的一些信息。
(5)getcode():若返回200表明爬取正常
(6)geturl():返回正在爬取的网页
(7)(可以查一下llib.request.Request函数)post和get请求