urllib urllib2学习笔记
Python的urllib和urllib2模块都做与请求URL相关的操作,但他们提供不同的功能。他们两个最显着的差异如下:
- urllib2可以接受一个Request对象,并以此可以来设置一个URL的headers,但是urllib只接收一个URL。这意味着,你不能伪装你的用户代理字符串等。
- urllib模块可以提供进行urlencode的方法,该方法用于GET查询字符串的生成,urllib2的不具有这样的功能。这就是urllib与urllib2经常在一起使用的原因。
urllib
1、urllib.urlopen(url, data=None, proxies=None, context=None)方法
打开一个url的方法,返回一个对象,可以类似文件对象的操作来读取数据
import urllib f = urllib.urlopen("https://www.cnblogs.com/") print f.readline() #<!DOCTYPE html>
urlopen返回对象提供方法:
- read() , readline() ,readlines() , fileno() , close() :这些方法的使用方式与文件对象完全一样
- info():返回一个httplib.HTTPMessage对象,表示远程服务器返回的头信息
- getcode():返回Http状态码。如果是http请求,200请求成功完成;404网址未找到
- geturl():返回请求的url
2、urllib.urlretrieve(url, filename=None, reporthook=None, data=None, context=None)方法
urlretrieve方法将url定位到的html文件下载到你本地的硬盘中。如果不指定filename,则会存为临时文件。
urlretrieve()返回一个二元组(filename,httplib.HTTPMessage)
f = urllib.urlretrieve("https://www.cnblogs.com/") print f
('d:\\temp\\tmp7_mted', <httplib.HTTPMessage instance at 0x01B8F030>)
第一个元素是保存的文件路径,第二个元素是httplib.HTTPMessage对象,跟urlopen.info()方法一样,保存的是远端服务器返回的头信息。
指定保存的文件
f = urllib.urlretrieve("https://www.cnblogs.com/", filename='cnblog.html') print f
('cnblog.html', <httplib.HTTPMessage instance at 0x01D8B030>)
3、urllib.urlcleanup()
清除由于urllib.urlretrieve()所产生的缓存
4、urllib.quote(str)
对或取的数据进行编码,从而符合URI协议,使其能被web服务器接受。
f1 = urllib.quote("https://www.cnblogs.com/", safe='/') print f1 #https%3A//www.cnblogs.com/
safe可以指定不需要编码的字符,可以以字符串的形式设置,例:safe=‘:/’,这样将不会对:/进行编码,默认不对 / 编码
5、urllib.quote_plus(str)
此函数是对请求中的url拼接的参数中的空格替换为+,这个我们很常见到,提交带空格的参数时,将看到空格都变成了+
f2 = urllib.quote_plus(' ', safe='/') print f2 +
也看到有safe吧,学习了quote,可能会想到这个也是个安全字符设定,对设定的字符不做编码??
是的,quote_plus这个其实实在quote上做了拓展,查看源码就知道了
def quote_plus(s, safe=''): """Quote the query fragment of a URL; replacing ' ' with '+'""" if ' ' in s: s = quote(s, safe + ' ') return s.replace(' ', '+') return quote(s, safe)
其实调用了quote()方法,safe这个是给quote用的,默认是不对空格做编码的。
有编码,那就肯定有解码了,解码方法对应的是:urllib.unquote(str)、urllib.unquote_plus(str)
6、urllib.urlencode()
将URL中的键值对以连接符&划分,并把空格编码为+
查询参数
data = {'name': 'aa bb', 'lover':'ccc'} params = urllib.urlencode(data) print params #name=aa+bb&lover=ccc f = urllib.urlopen('https://www.cnblogs.com?{}'.format(params))
urlencode方法会调用quote_plus,把空格编码为+
请求体中参数
data = {'name': 'aa bb', 'lover':'ccc'} params = urllib.urlencode(data) print params #name=aa+bb&lover=ccc f = urllib.urlopen('https://www.cnblogs.com/', date=params)
urllib2
1、urllib2.urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT,cafile=None, capath=None, cadefault=False, context=None)
跟urllib差不多,也是返回一个对象,次对象操作方式跟文件对象类似
f2 = urllib2.urlopen("https://www.cnblogs.com/") html = f2.read() print html
2、urllib2.Request(url, data=None, headers={},origin_req_host=None, unverifiable=False)
urllib2可以创建个request对象,构造一个完成的request对象,数据、请求头信息等都可以做设定
data = {'name': 'aa bb', 'lover':'ccc'} params = urllib.urlencode(data) headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; … Gecko/20100101 Firefox/54.0'} req = urllib2.Request("https://www.cnblogs.com/",data=params, headers=headers) req.add_data(urllib.urlencode({'age': 100, 'like': 'h'}))#重新设定提交的参数,会覆盖之前设定的
req.add_header('Host', '127.0.0.1')#添加请求头信息
print req.headers
print req.data
response = urllib2.urlopen(req)
print response.readline()