保存与读取cookie

合集 - python爬虫(26)

1.使用urllib爬取百度搜索html2024-09-122.urllib.request.Request对象封装请求2024-09-123.urllib发送get请求_中文传参问题2024-09-124.urllib发送post请求获取html源代码2024-09-145.获取动态页面html2024-09-156.忽略SSL证书验证2024-09-157.使用fake-useragent库伪装请求头2024-09-158.urllib自定义opener对象设置代理IP2024-09-169.爬虫cookie的使用2024-09-17

10.保存与读取cookie2024-09-18

11.使用urllib.error进行请求异常处理2024-09-1812.使用requests库发送get和post请求2024-09-2113.使用Request伪装User-Agent和IP地址2024-09-2214.requests设置超时时间/requests.Session自动保存cookie/verify忽略ssl证书2024-09-2315.re模块的正则表达式规则2024-09-2516.使用re的正则表达式提取腾讯体育新闻摘要2024-09-2617.BeautifulSoup4解析数据2024-09-2618.bs4.find_all()搜索文档树和css选择器提取解析后的html数据2024-09-2819.bs4解析并提取人民网新闻标题数据2024-09-2820.xpath解析数据2024-09-2921.谷歌浏览器的xpath插件安装2024-09-3022.使用re和lxml的xpath功能提取纵横中文网小说推荐榜前3页标题2024-10-0323.JSON数据2024-10-0324.使用jsonpath快速提取json的数据2024-10-0425.提取猫眼电影正在热映电影以及评分2024-10-0926.单线程与多线程爬虫2024-10-14

收起

接着爬取上次提过的网站。当前页面需要登录才能获取信息，编写爬虫自动登录，自定义opener对象添加可以保存cookie的HTTPCookieHandler处理器来发送请求，将cookie保存成cookie.txt文件，再读取cookie并向服务器发送请求获取目标网页信息。目标url为http://www.tuili.com/bbs/bbsShowDetail.asp?act=search&fid=260772&aid=&bid=29

登录请求url为http://www.tuili.com/bbs/bbslogincheck.asp，编码为GB2312。

运行代码

from urllib.request import Request, build_opener, HTTPCookieProcessor, urlopen
from fake_useragent import UserAgent
from http.cookiejar import MozillaCookieJar


def save_cookie():
    # 登录网页地址
    url = 'http://www.tuili.com/bbs/bbslogincheck.asp'
    # 创建UserAgent实例
    ua = UserAgent()
    # 封装请求头信息
    data = b'userid=%CF%C4%C8%D5%B1%F9%BA%EC%B2%E8&userpwd=Icedtea112'
    headers = {'user-agent': ua.chrome}
    # 创建Request对象
    req = Request(url, data=data, headers=headers)
    # 创建一个控制器用来辅助保存cookie
    cookie_jar = MozillaCookieJar()
    # 创建一个可以保存Cookie的控制器对象
    handler = HTTPCookieProcessor(cookie_jar)
    # 构建发送请求的对象
    opener = build_opener(handler)
    # 登录
    resp = opener.open(req)
    # 保存cookie到cookie.txt文件
    cookie_jar.save('cookie.txt', ignore_discard=True, ignore_expires=True)
    
    
def use_cookie():
    # 登录成功后获取目标网页html源代码
    index_url = 'http://www.tuili.com/bbs/bbsnewdoc.asp'
    headers = {'user-agent': UserAgent().chrome}
    index_req = Request(index_url, headers=headers)
    # 创建一个可以读取cookie为文件的对象
    cookie_jar = MozillaCookieJar()
    # 读取cookie文件
    cookie_jar.load('cookie.txt', ignore_discard=True, ignore_expires=True)
    # 创建一个控制器用来辅助读取cookie
    handler = HTTPCookieProcessor(cookie_jar)
    # 创建一个可以读取cookie的opener
    opener = build_opener(handler)
    # 发送请求，获取信息
    index_resp = opener.open(index_req)
    print(index_resp.read().decode('gb2312'))


if __name__ == '__main__':
    save_cookie()
    use_cookie()

运行结果（和手动登录查看的信息比对）