爬虫反爬之模拟登陆

cookie模拟登陆

  • 适用于需要登陆才能访问的页面

一、法一

  • 先成功登陆一次，获取携带登陆信息的cookie
  • F12打开控制台,在页面输入用户名、密码,登录成功,找到/home(一般在抓到地址的上面)
  • 携带着cookie发请求
    ** Cookie
    ** Referer(源,代表从哪里转过来的)
    ** User-Agent

案例：人人网模拟登陆

人人网模拟登陆

二、法二

使用session做会话保持

步骤：

  • 寻找POST地址（一般在form表单的action属性）
  • 发送用户名和密码，用session保持登录

步骤：

  • 实例化session对象session = requests.session()
  • POST表单中的action地址，注意携带data
  • GET主页地址
# 实例化session对象
session = requests.session()

# 先POST form中的action地址
session.post(url=post_url, data=data, headers=headers)

# 再GET
html = session.get(url=get_url, headers=headers).text
posted @ 2019-09-17 09:06  ChanceySolo  阅读(278)  评论(2)  编辑  收藏  举报