Python爬虫教程-14-爬虫使用filecookiejar保存cookie文件(人人网)
Python爬虫教程-14-爬虫使用filecookiejar保存cookie文件(人人网)
- 上一篇介绍了利用CookieJar访问人人网，本篇将使用filecookiejar将cookie以文件形式保存
- 自动使用cookie登录，使用步骤：
- 1.打开登录页面后，通过用户名密码登录
- 2.自动提取反馈回来的cookie
- 3.利用提取的cookie登录个人信息页面
- 创建cookiejar实例
- 生成cookie的管理器
- 创建http请求管理器
- 创建https请求的管理器
- 创建请求管理器
- 通过输入用户名和密码，获取cookie
- 代码：
# 创建cookiejar的实例
cookie = cookiejar.CookieJar()
# 常见cookie的管理器
cookie_handler = request.HTTPCookieProcessor(cookie)
# 创建http请求的管理器
http_handler = request.HTTPHandler()
# 生成https管理器
https_handler = request.HTTPSHandler()
# 创建请求管理器
opener = request.build_opener(http_handler,https_handler,cookie_handler)
创建handle后，使用opener打开，打开后相应的业务由相应的handle处理
cookie作为一个变量打印出来
- 案例v14cookie4文件：https://xpwi.github.io/py/py爬虫/py14cookie4.py
# 使用cookiejar
# cookie作为一个变量打印出来
from urllib import request,parse
from http import cookiejar
# 创建cookiejar的实例
cookie = cookiejar.CookieJar()
# 常见cookie的管理器
cookie_handler = request.HTTPCookieProcessor(cookie)
# 创建http请求的管理器
http_handler = request.HTTPHandler()
# 生成https管理器
https_handler = request.HTTPSHandler()
# 创建请求管理器
opener = request.build_opener(http_handler,https_handler,cookie_handler)
def login():
# 负责首次登录，输入用户名和密码，用来获取cookie
url = 'http://www.renren.com/PLogin.do'
id = input('请输入用户名：')
pw = input('请输入密码：')
data = {
# 参数使用正确的用户名密码
"email": id,
"password": pw
}
# 把数据进行编码
data = parse.urlencode(data)
# 创建一个请求对象
req = request.Request(url,data=data.encode('utf-8'))
# 使用opener发起请求
rsp = opener.open(req)
# 以上代码就可以进一步获取cookie了，cookie在哪呢？cookie在opener里
def getHomePage():
# 地址是用在浏览器登录后的个人信息页地址
url = "http://www.renren.com/967487029/profile"
# 如果已经执行login函数，则opener自动已经包含cookie
rsp = opener.open(url)
html = rsp.read().decode()
with open("rsp1.html", "w", encoding="utf-8")as f:
# 将爬取的页面
print(html)
f.write(html)
if __name__ == '__main__':
login()
# 执行完login之后，会得到授权之后的cookie，下一步打印出来
print(cookie)
for item in cookie:
print(type(item))
print(item)
for i in dir(item):
print(i)
我们使用print(i)打印出来了cookie的所有属性
下面介绍常用的属性
cookie的属性
- name：名称
- value：值
- domain：可以访问此cookie的域名
- path：可以访问此cookie的页面路径
- expires：过期时间
- size：大小
- http：字段
cookie的值虽然可以自己修改，但是修改后就会导致和服务器端数据不一致，而使cookie无效，最终登录失败
cookie的保存-FileCookieJar
- 将cookie以文件形式保存
- 案例v15filecookiejar文件：https://xpwi.github.io/py/py爬虫/py15filecookiejar.py
# 使用filecookiejar
from urllib import request,parse
from http import cookiejar
# 创建cookiejar的实例
filename = "py15renrenCookie.txt"
cookie = cookiejar.MozillaCookieJar(filename)
# 常见cookie的管理器
cookie_handler = request.HTTPCookieProcessor(cookie)
# 创建http请求的管理器
http_handler = request.HTTPHandler()
# 生成https管理器
https_handler = request.HTTPSHandler()
# 创建请求管理器
opener = request.build_opener(http_handler,https_handler,cookie_handler)
def login():
# 负责首次登录，输入用户名和密码，用来获取cookie
url = 'http://www.renren.com/PLogin.do'
id = input('请输入用户名：')
pw = input('请输入密码：')
data = {
# 参数使用正确的用户名密码
"email": id,
"password": pw
}
# 把数据进行编码
data = parse.urlencode(data)
# 创建一个请求对象
req = request.Request(url,data=data.encode('utf-8'))
# 使用opener发起请求
rsp = opener.open(req)
'''
保存cookie到文件
两个参数：
ignore_discard：表示及时cookie将要被丢弃，是否保存下来
ignore_expires：表示如果该文件中cookie已经过期，是否保存下来
'''
cookie.save(ignore_discard=True, ignore_expires=True)
if __name__ == '__main__':
login()
运行结果
本篇使用filecookiejar将cookie以文件形式保存
更多文章链接：Python 爬虫随笔
- 本笔记不允许任何个人和组织转载
