from urllib import parse模块的使用：url的解析，合并，编码，解码

前言

 ①urllib.parse 模块提供了一些函数，可以管理URL及其组成部分，这包括将URL分解为组成部分以及由组成部分构成URL。

 ②urllib库的parse模块（英文单词parse的意思是解析，理解为解析url的模块）定义了url的标准接口，实现url的各种抽取。

 ③parse模块的作用：url的解析，合并，编码，解码

urlparse：实现url的识别和分段

参数：

① url ：待解析的url。

② scheme='' ：假如解析的url没有协议，可以设置默认的协议；但是如果url存在协议，设置scheme参数无效。

③ allow_fragments=True ：是否忽略锚点，默认为True表示不忽略，为False表示忽略。

代码1：

from urllib import parse

url = 'https://www.cnblogs.com/angelyan/'

result = parse.urlparse(url=url,scheme='http',allow_fragments=True)

print(result)
print(result.scheme)

运行结果：由于解析的url是https协议，所以scheme参数指定的协议无效

代码2：

from urllib.parse import urlparse

url = 'http://user:pwd@NetLoc:80/path;param?query=arg#frag'
parsed = urlparse(url)

print(parsed)

print('scheme  :', parsed.scheme)
print('netloc  :', parsed.netloc)
print('path    :', parsed.path)
print('params  :', parsed.params)
print('query   :', parsed.query)
print('fragment:', parsed.fragment)
print('username:', parsed.username)
print('password:', parsed.password)
print('hostname:', parsed.hostname)
print('port    :', parsed.port)

运行结果：尽管返回值相当于一个元组，但实际上它基于一个 namedtuple ，这是 tuple的一个子类，除了可以通过索引访问，它还支持通过命名属性访问URL的各部分。

属性API不仅更易于程序员使用，还允许访问tupleAPI中未提供的很多值。

url解析后的返回值参数含义：

(scheme='https', netloc='www.cnblogs.com', path='/angelyan/', params='', query='', fragment='')

① scheme ：表示url使用的网络协议

② netloc ：域名

③ path ：路径

④ params ：参数

⑤ query ：查询条件，一般都是get请求的url才会有此出参

⑥ fragment ：锚点，用于直接定位页面的下拉位置，跳转到网页的指定位置

urlsplit函数可以替换urlparse

但是urlsplit函数不会从URL分解参数

代码：

from urllib.parse import urlsplit

url = 'http://user:pwd@NetLoc:80/p1;para/p2;para?query=arg#frag'
parsed = urlsplit(url)
print(parsed)
print('scheme  :', parsed.scheme)
print('netloc  :', parsed.netloc)
print('path    :', parsed.path)
print('query   :', parsed.query)
print('fragment:', parsed.fragment)
print('username:', parsed.username)
print('password:', parsed.password)
print('hostname:', parsed.hostname)
print('port    :', parsed.port)

运行结果：由于没有分解参数，tuple API会显示五个元素而不是六个，并且这里没有params属性。

要想从一个URL剥离出片段标识符：如从一个URL查找基页面名，可以使用 urldefrag() 函数。

from urllib.parse import urldefrag

original = 'http://netloc/path;param?query=arg#frag'
print('original:', original)

d = urldefrag(original)

print('url     :', d.url)
print('fragment:', d.fragment)

运行结果：

urlunparse：利用urlunparse()可以将包含串的普通元组重新组合为一个URL。

代码：

from urllib import parse

# components:是一个可迭代对象，长度必须为6
url_parmas1 = ('https', 'www.cnblogs.com', '/angelyan/', '', 'name=maple', 'log')
result1 = parse.urlunparse(url_parmas1)
print(result1)

url_parmas2 = ('https', 'www.cnblogs.com', '/angelyan/', '', '', '')
result2 = parse.urlunparse(url_parmas2)
print(result2)

url_parmas3 = ('https', 'www.cnblogs.com', '/AnyPath/', '', 'name=maple&sex=man', '')
result3 = parse.urlunparse(url_parmas3)
print(result3)

url_parmas4 = ('https', 'www.cnblogs.com', '/AnyPath/', 'js', 'name=maple&sex=man', '')
result4 = parse.urlunparse(url_parmas4)
print(result4)

运行结果：由此可以看出，在一个长度为6的普通元组内，位置不同的元素代表的意义也不相同；可以参考 urlprase() 函数将标准URL解析后的元组内的各元素定位。

geturl：geturl()方法

代码：

from urllib.parse import urlparse

original = 'http://netloc/path;param?query=arg#frag'

print('ORIG  :', original)

parsed = urlparse(original)
print('PARSED:', parsed.geturl())

运行结果： geturl() 只适用于 urlparse() 或 urlsplit() 返回的对象。

urljoin：URL的相对片段构造绝对URL

可以类比： os.path.join() 

代码1：

from urllib import parse

base_url = 'https://www.cnblogs.com'
sub_url = '/AnyPath/?name=maple&sex=man#log'

full_url = parse.urljoin(base=base_url, url=sub_url, allow_fragments=True)
print(full_url)

运行结果：

代码2：

from urllib.parse import urljoin

print(urljoin('http://www.example.com/path/file.html',
              'anotherfile.html'))

print(urljoin('http://www.example.com/path/file.html',
              '../anotherfile.html'))

运行结果：在该例子中，计算第二个URL时要考虑路径的相对部分 "../" 。

 代码3：

from urllib.parse import urljoin

print(urljoin('http://www.example.com/path/',
              '/subpath/file.html'))

print(urljoin('http://www.example.com/path/',
              'subpath/file.html'))

运行结果：

①如果连接到URL的路径是以一个斜线开头(/)，那么 urljoin() 方法会把URL的路径重置为顶级路径。

②如果连接到URL的路径不是以一个斜线开头，那么新路径值则追加到URL当前路径的末尾。

urlencode：将字典格式的参数序列化为url编码后的字符串，常用来构造get请求和post请求的参数

此时使用requests库请求接口会使用params形参

代码1：

from urllib import parse

parmas = {
    'name': 'maple',
    'age': 18
}
parmas_str = parse.urlencode(parmas)
print('将字典格式的数据序列化为url编码后的字符串:', parmas_str)


parmas_str = 'name=maple&age=18'
# 将url编码格式的参数反序列化为字典类型
parmas = parse.parse_qs(parmas_str)
print('将url编码后的字符串反序列化为字典格式的数据:', parmas)

运行结果：

代码2：

from urllib import parse

parmas = {
    'name': '汉语参数',
    'age': 18
}
parmas_str = parse.urlencode(parmas)
print('将字典格式的数据序列化为url编码后的字符串:', parmas_str)


parmas_str = 'name=%E6%B1%89%E8%AF%AD%E5%8F%82%E6%95%B0&age=18'
# 将url编码格式的参数反序列化为字典类型
parmas = parse.parse_qs(parmas_str)
print('将url编码后的字符串反序列化为字典格式的数据:', parmas)

运行结果：

quote：可以将中文转换为url编码格式

代码：

from urllib import parse

word = '中国梦'
url = 'http://www.baidu.com/s?wd='+parse.quote(word)
print('将中文参数转换为url编码格式后的参数:', parse.quote(word))
print('将中文参数转换为url编码格式后的新的url', url)

# unquote:可以将URL编码进行解码
url = 'http://www.baidu.com/s?wd=%E4%B8%AD%E5%9B%BD%E6%A2%A6'
print('url解码之后新的url:', parse.unquote(url))

运行结果：