Python爬虫学习笔记（2）9.24

【由于内容定位是个人学习笔记，所以并不适合作为系统的学习材料！！！】


1. Handle和Opener

首先，介绍一下 urllib.request 模块里的 BaseHandler 类，它是所有其他 Handler 的父类，它提供了最基本的方法，例如 default_open()、protocol_request() 等。

接下来，就有各种 Handler 子类继承这个 BaseHandler 类，举例如下。

  • HTTPDefaultErrorHandler：用于处理 HTTP 响应错误，错误都会抛出 HTTPError 类型的异常。
  • HTTPRedirectHandler：用于处理重定向。
  • HTTPCookieProcessor：用于处理 Cookies。
  • ProxyHandler：用于设置代理，默认代理为空。
  • HTTPPasswordMgr：用于管理密码，它维护了用户名和密码的表。
  • HTTPBasicAuthHandler：用于管理认证，如果一个链接打开时需要认证，那么可以用它来解决认证问题。

另一个比较重要的类就是 OpenerDirector，我们可以称为 Opener。我们之前用过 urlopen() 这个方法，实际上它就是 urllib 为我们提供的一个 Opener。

之前使用的 Request 和 urlopen() 相当于类库为你封装好了极其常用的请求方法，利用它们可以完成基本的请求，但是现在我们需要实现更高级的功能，所以需要深入一层进行配置，使用更底层的实例来完成操作，所以这里就用到了 Opener。

Opener 可以使用 open() 方法，返回的类型和 urlopen() 如出一辙。可以利用 Handler 来构建 Opener。

2. HTTPError

它是 URLError 的子类，专门用来处理 HTTP 请求错误，比如认证请求失败等。它有如下 3 个属性。

  • code：返回 HTTP 状态码，比如 404 表示网页不存在，500 表示服务器内部错误等。
  • reason：同父类一样，用于返回错误的原因。
  • headers：返回请求头。

下面我们用几个实例来看看：

from urllib import request,error
try:
    response = request.urlopen('http://cuiqingcai.com/index.htm')
except error.HTTPError as e:
    print(e.reason, e.code, e.headers, sep='\n')

有时候，reason 属性返回的不一定是字符串，也可能是一个对象。再看下面的实例：

import socket
import urllib.request
import urllib.error

try:
    response = urllib.request.urlopen('https://www.baidu.com', timeout=0.01)
except urllib.error.URLError as e:
    print(type(e.reason))
    if isinstance(e.reason, socket.timeout):
        print('TIME OUT')

3. urlparse()

urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)

该方法可以实现 URL 的识别和分段，这里先用一个实例来看一下：

from urllib.parse import urlparse

result = urlparse('http://www.baidu.com/index.html;user?id=5#comment')
print(type(result), result)

返回结果实际上是一个元组，我们可以用索引顺序来获取，也可以用属性名获取。示例如下：

from urllib.parse import urlparse

result = urlparse('http://www.baidu.com/index.html#comment', allow_fragments=False)
print(result.scheme, result[0], result.netloc, result[1], sep='\n')

4. urlunparse()

有了 urlparse()，相应地就有了它的对立方法 urlunparse()。它接受的参数是一个可迭代对象，但是它的长度必须是 6，否则会抛出参数数量不足或者过多的问题。先用一个实例看一下：

from urllib.parse import urlunparse

data = ['http', 'www.baidu.com', 'index.html', 'user', 'a=6', 'comment']
print(urlunparse(data))

这里参数 data 用了列表类型。当然，你也可以用其他类型，比如元组或者特定的数据结构。

5. urlsplit()

这个方法和 urlparse() 方法非常相似，只不过它不再单独解析 params 这一部分，只返回 5 个结果。上面例子中的 params 会合并到 path 中。示例如下：

from urllib.parse import urlsplit

result = urlsplit('http://www.baidu.com/index.html;user?id=5#comment')
print(result)

6. urlunsplit()

与 urlunparse() 类似，它也是将链接各个部分组合成完整链接的方法，传入的参数也是一个可迭代对象，例如列表、元组等，唯一的区别是长度必须为 5。示例如下：

from urllib.parse import urlunsplit

data = ['http', 'www.baidu.com', 'index.html', 'a=6', 'comment']
print(urlunsplit(data))

7. urljoin()

此外，生成链接还有另一个方法，那就是 urljoin() 方法。我们可以提供一个 base_url（基础链接）作为第一个参数，将新的链接作为第二个参数，该方法会分析 base_url 的 scheme、netloc 和 path 这 3 个内容并对新链接缺失的部分进行补充，最后返回结果。

下面通过几个实例看一下：

from urllib.parse import urljoin

print(urljoin('http://www.baidu.com', 'FAQ.html'))
print(urljoin('http://www.baidu.com', 'https://cuiqingcai.com/FAQ.html'))
print(urljoin('http://www.baidu.com/about.html', 'https://cuiqingcai.com/FAQ.html'))
print(urljoin('http://www.baidu.com/about.html', 'https://cuiqingcai.com/FAQ.html?question=2'))
print(urljoin('http://www.baidu.com?wd=abc', 'https://cuiqingcai.com/index.php'))
print(urljoin('http://www.baidu.com', '?category=2#comment'))
print(urljoin('www.baidu.com', '?category=2#comment'))
print(urljoin('www.baidu.com#comment', '?category=2'))

可以发现，base_url 提供了三项内容 scheme、netloc 和 path。如果这 3 项在新的链接里不存在，就予以补充；如果新的链接存在，就使用新的链接的部分。而 base_url 中的 params、query 和 fragment 是不起作用的。

通过 urljoin() 方法，我们可以轻松实现链接的解析、拼合与生成。

8. urlencode()

这里我们再介绍一个常用的方法 ——urlencode()，它在构造 GET 请求参数的时候非常有用，示例如下：

from urllib.parse import urlencode

params = {
    'name': 'germey',
    'age': 22
}
base_url = 'http://www.baidu.com?'
url = base_url + urlencode(params)
print(url)

9. parse_qs()

有了序列化，必然就有反序列化。如果我们有一串 GET 请求参数，利用 parse_qs() 方法，就可以将它转回字典，示例如下：

from urllib.parse import parse_qs

query = 'name=germey&age=22'
print(parse_qs(query))

10. parse_qsl()

另外，还有一个 parse_qsl() 方法，它用于将参数转化为元组组成的列表，示例如下：

from urllib.parse import parse_qsl

query = 'name=germey&age=22'
print(parse_qsl(query))

11. quote()

该方法可以将内容转化为 URL 编码的格式。URL 中带有中文参数时，有时可能会导致乱码的问题，此时用这个方法可以将中文字符转化为 URL 编码，示例如下：

from urllib.parse import quote

keyword = '壁纸'
url = 'https://www.baidu.com/s?wd=' + quote(keyword)
print(url)

12. unquote()

有了 quote() 方法，当然还有 unquote() 方法，它可以进行 URL 解码，示例如下：

from urllib.parse import unquote

url = 'https://www.baidu.com/s?wd=%E5%A3%81%E7%BA%B8'
print(unquote(url))

内容参考（摘抄）自Python3 网络爬虫开发实战。

posted @ 2021-09-24 21:12  Rekord  阅读(47)  评论(0)  编辑  收藏  举报