爬虫学习（一）

简单爬虫

我们需要学习urllib库，在这个库中存在着许多辅助我们进行爬虫的工具，该包中有着模块：

request：最基本的HTTP请求模块，可以用来模拟发送请求。
error：异常处理抹开，如果出现请求错误，可以捕捉异常，然后进行充实或其他操作。
parse：工具模块，提供了许多URL处理方法，如拆分，解析，合并等。
robotparser：主要用于识别网站的robots.txt文件，然后判断哪些网站可以爬，哪些网站不可以爬。

request模块

使用它可以方便地实现请求的发送并得到响应，通过时它还带有处理授权验证，重定位，浏览器Cookies以及其他内容

1、urlopen()

使用urlopen()函数可以发送一个请求，urlopen()函数完整的参数列表

urllib.request.urlopen(url,data=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None)

官方文档https://docs.python.org/3/library/urllib.request.html

使用urlopen()方法，url 参数用于指定要请求的URL路径（未指定data参数时，默认使用get请求方法）

import urllib.request
url = "https://www.baidu.com"
response = urllib.request.urlopen(url=url)
print(response.read())

该函数返回一个HTTPResponse对象，它包含了read(), 等多种方法，以及msg,version等多种属性。

#导入request模块
import urllib.request
#发出请求并得到响应
response = urllib.request.urlopen("https://www.python.org")
#查看响应的类型
print(type(response))
#打印响应状态码
print(response.status)
#打印请求头
print(response.getheaders())
#打印请求头中Server属性的值（表示服务端使用Web服务器是什么软件，如Tomcat、Nginx等）
print(response.getheader("Server"))

data参数可以设置要传递的参数，使用的时候需要使用bytes()方法将参数转化为字节流编码格式的内容，即bytes类型，并且如果使用了data参数，则请求方法就不再是get方法，而是post方法。

import urllib.request
import urllib.parse
data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding='utf-8')
response = urllib.request.urlopen('https://www.baidu.com'm data=data)
print(response.read())

timeout参数可以设置超时时间，单位为秒

import urllib.request
#向百度发出请求，如果5秒内还没有得到响应，则抛出异常
response = urllib.request.urlopen('https://www.baidu.com',timeout=5)
print(response.read())

我们可以通过设置这个超时时间来控制一个网页在长时间未响应是，就跳过它的抓取，利用try ,except实现。

import socket
import urllib.request
import urllib.error
try:
	response = urllib.request.urlopen('http://www.baidu.com',timeout=0.01)
except urllib.error.URLError as e:
	print(e.reason)
	print(socket.timeout)
	if isinstance(e.reason,socket.timeout):
		print('Time Out')

2、Request

使用urlopen()方法可以实现最基本请求的发送，但是不足以构建出一个完整的请求，如果请求中需要加Headers等信息，就需要使用Request来构建了。

class urllib.request.Request(url,data=None,headers={},origin_req_host=None,unverifiable=False,method=None)

基本使用：

import urllib.request
#调用Request()方法返回一个Request类型对象
request = urllib.request.Request('https://python.org')
#使用urlopen发送请求时将Request类型对象传进去
response = urllib.request.urlopen(request)
print(response.read().decode('utf-8'))

同时它依旧是使用urlopen()发送请求，只不过该方法的参数不再是URL，而是一个Request的对象。

设置请求头，请求参数

注意：常用 urllib.parse.urlencode 进行 URL 的 get 请求参数拼接。

from urllib import request,parse
url = 'http://httpbin.org/post'
#请求头
headers = {
	'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0',
	'Host':'httpbin.org'
}
param = {
	'name':'Germey'
}
data = bytes(parse.urlencode(param),encoding='utf-8')
req = request.Request(url=url,data=data,headers=headers,method='POST')
'''
也可以通过add_header()方法逐个添加请求头
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0')
'''
response = request.urlopen(req)
print(response.read().decode('utf-8'))

3、Handler、Opener

实现验证、代理设置、Cookies处理等功能需要使用Handler和Opener。可以将Handler理解为各种处理器，有专门处理登录验证的，有处理Cookie的，有处理代理设置的，利用它们，几乎可以做到HTTP请求中所有的事情。urllib.request模块里的BaseHandler类，是其他所有Handler的父类，提供了最基本的方法，例如default_open( )、protocol_request( )等。它的常用子类有：

HTTPDefaultErrorHandler：用于处理HTTP响应错误，错误都会抛出HTTPError类型的异常。
HTTPRedirectHandler：用于处理重定向。
HTTPCookieProcessor：用于处理Cookies。
ProxyHandler：用于设置代理，默认代理为空。
HTTPPasswordMgr：用于管理密码，它维护了用户名和密码的表。
HTTPBasicAuthHandler：用于管理认证，如果一个链接打开时需要认证，那么可以用它来解决认证问题。

Handler需要和Opener(Opener对应的类为OpenerDirector)组合使用，通过Handler对象和可以构建Opener对象，Opener对象可以调用open方法，open()方法返回类型和urlopen返回类型是一样的。

验证。有些哇攻占在打开时就会弹出提示框，直接提示你输入用户名和密码。请求这样带有验证的页面时，可以借助HTTPBasicAuthhandler完成，代码如下：

from urllib.request import HTTPPasswordMgrWithDefaultRealm,HTTPBasicAuthHandler,build_opener
from urllib.error import URLError
username = 'admin'
password = '123456'
#tomcat服务器管理页
url = 'http://localhost:8080/manager/html'
p = HTTPPasswordMgrWithDefaultRealm();
p.add_password(None,url,username,password)
auth_handler = HTTPBasicAuthHandler(p)
opener = build_opener(auth_handler)
try:
	result = opener.open(url)
	html = result.read().decode('utf-8')
	print(html)
except URLError as e:
	print(e.reason)

实现代理，在做爬虫的时候，免不了要使用代理，如果要添加代理，可以使用ProxyHandler，其参数是一个字典，字典中键名协议类型（如HTTP或者HTTPS等），键值是代理连接，可以添加多个代理。

from urllib.error import URLError
from urllib.request import ProxyHandler,build_opener
#为了方便测试，在本地搭建了一个代理，运行在9743端口上
proxy_handler = ProxyHandler({
	'http':'http://127.0.0.1:9743',
	'http':'https://127.0.0.1:9743'
})
opener = build_opener(proxy_handler)
try:
	response = opener.open('https://www.baidu.com')
	print(response.read().decode('utf-8'))
except URLError as e:
	print(e.reason)

获取网站的Cookie，首先，必须声明一个Cookie.Jar对象，然后利用HTTPCookieProcessor来构建一个Handler，最后利用build_opener()方法来构建Opener，执行open()方法即可。

import urllib.request,http.cookiejar

cookie = http.cookiejar.CookieJar()
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
#遍历cookies
for item in cookie:
	print(item.name+"="+item.value)

获取网站的Cookie并保存为文件

import urllib.request,http.cookiejar

filename = 'cookies.txt'
cookie = http.cookiejar.MozillaCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
cookie.save(ignore_discard=True,ignore_expires=True)

这里将CookieJar换成了MozillaCookieJar，它在生成文件时会用到，是CookieJar的子类，可以用来处理Cookies和文件相关的事件，比如读取和保存Cookies。

生成Cookie文件后，后续过程中会读取Cookies文件进行利用，以WPCookiesJar格式的Cookie文件为例：

import urllib.request,http.cookiejar

cookie = http.cookiejar.LWPCookieJar()
#加载Cookies文件
cookie.load('cookies.txt',ignore_discard=True,ignore_expires=True)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
#运行正常的话，会输出百度网页的源代码
print(response.read().decode('utf-8'))

error模块

1、URLError

该类是error异常模块的即类，它继承自OSError, request模块产生的异常都可以通过这个类来处理。reason属性，表示错误的原理。

from urllib import request,error
try:
  #该url是不存在的，所以会产生异常
	response = request.urlopen('https://cuiqingcai.com/a.html')
except error.URLError as e:
  #由于访问的网页不存在，所以会打印Not Found
	print(e.reason)

2、HTTPError

专门用于处理HTTP请求错误，比如认证请求失败等。它有三个属性：

code：HTTP状态码
reason：错误原因
header：请求头

from urllib import request,error
try:
  #此处访问了一个不存在的网页
	response = request.urlopen('https://cuiqingcai.com/indea.html')
except error.HTTPError as e:
	print(e.reason)
	print(e.code)
	print(e.headers)

需要注意的是，reason属性有时候返回的不一定是字符串，也有可以是一个对象。

parse模块

该模块定义了处理URL的标准结构，例如URL各部分的抽取，合并以及链接转换。它支持大多数的协议的URL处理。

urlparse() 实现URL 的识别和分段，API 如下：

urllib.parse.urlparse(urlstring,scheme='',allow_fragments=True)

urlunparse 它用于构建一个url，传入的参数必须是6 构建一个URL需要6部分

from urllib.parse import urlunparse
data = ['http','www.baidu.com','index.html','user','a=6','comment']
#打印：http://www.baidu.com/index.html;user?a=6#comment
print(urlunparse(data));

urlencode() 方法在构建请求参数时使用

1、在get请求方式中构建请求参数

from urllib.parse import urlencode
params = {
	'name':'germey',
	'age':22
}
base_url = 'http://www.baidu.com?'
url = base_url+urlencode(params)
#打印：http://www.baidu.com?name=germey&age=22
print(url)

2、在post请求方式中构建请求参数

import urllib.request
from urllib.parse import urlencode
params = {
  'name':'germey',
  'age':22
}
data = bytes(urlencode(params),encoding='utf-8')
response = urllib.request.urlopen('http://httpbin.org/post',data=data)
print(response.read())

robostparser模块

利用urllib库中的robotparser模块，可以实现对网站Robots协议的分析。

Robots协议

Robots协议也称作爬虫协议、机器人协议，它的全名叫做网络爬虫排除标准（Robots Exclusion Protocol），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些页面不可以抓取。它通常是一个名为robots.txt的文本文件，一般放在网站的根目录下。当搜索爬虫访问一个站点时，它首先会检查这个站点根目录下是否存在robots.txt文件，如果存在，搜索爬虫会根据其中定义的爬取范围来爬取；如果没有找到这个文件，搜索爬虫便会访问所有可直接访问的页面。

User-agent:*
Disallow:/
Allow:/public/

User-agent：描述了搜索爬虫的名称，*则表示该协议对所有爬虫有效。比如User-agent：Baiduspider表示对百度爬虫是有效的。如果有多条User-agent记录，就会有多个爬虫会受到爬取限制，但至少需要指定一条。
Disallow：指定不允许爬取的目录，/表示所有页面都不允许爬取。
Allow：一般和Disallow一起使用，不会单独使用，用来排除Disallow指定的规则，指定除了Disallow指定的页面外，哪些页面可以抓取。

posted @ 2023-07-31 14:14 琦家出品阅读(23) 评论(0) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

相关博文：

· HTTP协议详解

· 讯飞锂离子电池温度预测_学习笔记

· 爬虫基础库学习

· 第 2章Python 爬虫基本库的使用

· urllib的使用

阅读排行：
· 无需6万激活码！GitHub神秘组织3小时极速复刻Manus，手把手教你使用OpenManus搭建本
· C#/.NET/.NET Core优秀项目和框架2025年2月简报
· Manus爆火，是硬核还是营销？
· 终于写完轮子一部分：tcp代理了，记录一下
· Qt个人项目总结 —— MySQL数据库查询与断言

阅读目录(Content)

爬虫学习（一）

superJade

念两句诗

爬虫学习（一）

爬虫学习（一）

简单爬虫

request模块

1、urlopen()

2、Request

3、Handler、Opener

error模块

1、URLError

2、HTTPError

parse模块

robostparser模块

公告

个人信息

日历

搜索

常用链接

随笔档案

阅读排行榜