selenium cookie登录
前言
爬虫方向的小伙伴们都知道网页爬虫经常遇到的问题就是登录账户，有些简单的网站我们可以简单的send key来输入账户密码就可以登录，但是有很多网站需要验证码之类的就不太好用了，这时候就体现到了cookie登录的优点了，前段时间网上搜了搜，发现没有什么完整的教程，本文就使用selenium来cookie登录为例做一个简单的教程。
环境准备
- python3
- selenium
- chromedriver
selenium就不再过多解释了，我们在使用的过程中唯一需要注意的就是自己浏览器版本与driver版本的问题，至于具体对应版本，在chromedriver下载页面中会有显示
代码编写
这次就以 百度 为例，www.baidu.com 首先使用 selenium 打开百度看一下未登录是什么样子
代码：
from selenium import webdriver #填写webdriver的保存目录 driver = webdriver.Chrome('../chromedriver.exe') #记得写完整的url 包括http和https driver.get('https://www.baidu.com')
这就是直接打开的样子，我们想要将网页变成登录后的样子，如下图
这是登录账号后的样子，那么我们该怎么获取cookie以达到登录效果呢？
我们可以直接使用F12查看当前网页的cookie，但是你会发现直接获取到的并不是那么好插入到selenium中，因为cookie在浏览器中实际是这个样子的
它需要额外添加一些东西，那么我们该如何获取呢？其实也很简单，最简单的方法就是我们首先使用selenium手动登录一下然后获取cookie值保存到本地，之后再登陆的时候直接调用本地cookie就可以了
怎么获取呢？selenium有一个 get_cookies() 函数可以帮我们获取当前网页的cookie值，所以我们首先编写一个 getcookies.py 文件来获取cookie值
from selenium import webdriver import time import json #填写webdriver的保存目录 driver = webdriver.Chrome('../chromedriver.exe') #记得写完整的url 包括http和https driver.get('https://www.baidu.com') #程序打开网页后20秒内手动登陆账户 time.sleep(20) with open('cookies.txt','w') as cookief: #将cookies保存为json格式 cookief.write(json.dumps(driver.get_cookies())) driver.close()
运行程序后如下图 点击登录 输入账号密码，输入验证码（程序内写的20秒完成操作，因为20秒后程序将获得cookies）
现在发现项目目录下已经有了一个名称为 cookies.txt 的文件 ，现在我们已经将cookies保存到了本地，现在我们来编写程序使用cookies
编写 addcookies.py 文件
from selenium import webdriver import time import json #填写webdriver的保存目录 driver = webdriver.Chrome('../chromedriver.exe') #记得写完整的url 包括http和https driver.get('https://www.baidu.com') #首先清除由于浏览器打开已有的cookies driver.delete_all_cookies() with open('cookies.txt','r') as cookief: #使用json读取cookies 注意读取的是文件 所以用load而不是loads cookieslist = json.load(cookief) for cookie in cookieslist: driver.add_cookie(cookie)
运行，有小伙伴可能会发现现在出问题了，在插入cookie的时候 返回错误
selenium.common.exceptions.InvalidArgumentException: Message: invalid argument: invalid 'expiry'
这个 expiry 是什么呢？ 它是cookie的生命周期，也就是失效时间，为什么在这里会报错呢？我们有两种解决办法
- #方法1 将expiry类型变为int（其实不太清楚为什么变为int就可以）
- #方法2删除该字段
重新编写代码：
from selenium import webdriver import json #填写webdriver的保存目录 driver = webdriver.Chrome('../chromedriver.exe') #记得写完整的url 包括http和https driver.get('https://www.baidu.com') #首先清除由于浏览器打开已有的cookies driver.delete_all_cookies() with open('cookies.txt','r') as cookief: #使用json读取cookies 注意读取的是文件 所以用load而不是loads cookieslist = json.load(cookief) # 方法1 将expiry类型变为int for cookie in cookieslist: #并不是所有cookie都含有expiry 所以要用dict的get方法来获取 if isinstance(cookie.get('expiry'), float): cookie['expiry'] = int(cookie['expiry']) driver.add_cookie(cookie) #方法2删除该字段 # for cookie in cookieslist: # #该字段有问题所以删除就可以 浏览器打开后记得刷新页面 有的网页注入cookie后仍需要刷新一下 # if 'expiry' in cookie: # del cookie['expiry'] # driver.add_cookie(cookie)
这时候发现没有报错了，可以发现，怎么还是登录之前的页面啊?为什么cookies插入成功了却不是登陆后的页面?
别急，这时候我们点击一下浏览器的刷新就会发现其实已经登录上去了只不过页面没有变化而已，所以一定记得点刷新，现在我们就成功的使用cookie完成了登录操作。
