爬虫（二）requests 登陆某检索网站

  1 import requests
import os
from PIL import Image
import pytesseract
import re

rootUrl = xxx
# 构建登录页面url
  9　loginUrl = rootUrl + '/sipopublicsearch/portal/uilogin-forwardLogin.shtml'
# 构建登陆页面headers
rootHeaders = {
    'Cache-Control': 'max-age=0',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'Accept-Encoding': 'gzip, deflate',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
    'Upgrade-Insecure-Requests': '1',
    'Connection': 'keep-alive',
    'Host': 'www.pss-system.gov.cn'
    }
# 保持会话，建立session
s = requests.session()
# get 之后打印cookies，发现其中缺了一项cookie，这里手动添加
requests.utils.add_dict_to_cookiejar(s.cookies,{'avoid_declare':'declare_pass'}) # 使用utils.add_dict_to_cookiesjar()是保存到session里面
r =s.get(url=rootUrl,headers=rootHeaders,verify=False)                           # 在某段时间内可以一直存在
print(s.cookies.get_dict())
# 请求 验证码链接 ，下载图片
# 构建验证码链接
verifyUrl = rootUrl + '/sipopublicsearch/portal/login-showPic.shtml'
# 构建请求验证码的headers
verifyHeaders = {
    'Cache-Control': 'max-age=0',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'Accept-Encoding': 'gzip, deflate',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
    'Upgrade-Insecure-Requests': '1',
    'Connection': 'keep-alive',
    'Host': rootUrl,
    'Referer': rootUrl + '/sipopublicsearch/portal/uilogin-forwardLogin.shtml',
    }
verifyCode = s.get(url=verifyUrl,headers=verifyHeaders,verify=False)
os.chdir(r'更改保存验证码图片路径')
with open('verifycode.png','wb') as f:
    f.write(verifyCode.content)
    f.close()
png = Image.open(r'verifycode.png')
# pip 出问题了 ，装不了 tesseract ,只能手动识别了
#verifycode = pytesseract.image_to_string(png)
#print('验证码为【{}】,'.format(verifycode),end='')
png.show()
mycode = input('请输入答案：')

# 提交表单的 第一个请求是 post ，然后从headers中取出 下一个跳转的url
# 先构建post的url, 其中参数 V 其实可以做成一个自动变化的参数，这里就不做了
jumpUrl = rootUrl + '/sipopublicsearch/wee/platform/wee_security_check?v=20180802'
jumpHeaders = {
    'Cache-Control': 'max-age=0',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'Accept-Encoding': 'gzip, deflate',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
    'Upgrade-Insecure-Requests': '1',
    'Connection': 'keep-alive',
    'Host': rootUrl,
    'Referer': rootUrl + '/sipopublicsearch/portal/uilogin-forwardLogin.shtml',
    'Origin': rootUrl,
    'Content-Type': 'application/x-www-form-urlencoded',
    'Content-Length': '108',
    }
postData = {
    'j_loginsuccess_url':'', # 这个值为空，用两个引号表示空值，不能换 None 哦！！
    'j_validation_code':mycode,
    'j_username':用户名, # 用户名和密码是加密过的，不过还好不是动态变化的加密，不然就麻烦了
    'j_password':密码,
    }
# post 请求
postResponse = s.post(url=jumpUrl,data=postData,headers=jumpHeaders,verify=False)
# 测试是否已经进爬取页面
from lxml import etree
html = etree.HTML(postResponse.text)
testEle = html.xpath('//div[@class="wrap-left"]/p/text()')[0]
print(testEle) # 这里已经显示 【 xxx用户名，欢迎访问！】 表示已经进入爬取页面了

# 可以像下面这样写到本地，方便自己查看，Txt还要注意  需要 编码成 utf-8
with open('content.txt','w',encoding='utf-8') as c:
    c.write(postResponse.text)
    c.close()
print(postResponse.status_code)

# 这下面的都不要了 ，因为上面就已经进去了，下面这段代码对应的响应位于【发送post请求】与【获取真正可以爬取页面】之间的跳转页面

'''
# 获取响应中跳转的url
pattern = re.compile(r'<a href="(.*?)">')
reUrl = pattern.search(postResponse.text)
getUrl = reUrl.group(1)
print(reUrl.group(1))

# 提交表单的第二次请求是 get ，
# url:getUrl ; headers: jumpHeaders
print(s.cookies.get_dict())
getResponse = s.get(url=getUrl,headers=jumpHeaders,verify=False)  # 这里请求的cookies和 headers 应该是只能按它需要的发送，不能发多
print(getResponse.url)                                            
print(getResponse.headers)
print(s.cookies.get_dict())
# re2Url = pattern.search(getResponse.text)
# lastUrl = re2Url.group(1)
# print(re2Url.group(1))  # 得到  /sipopublicsearch/portal/uiIndex.shtml
# get2Url = nethost + lastUrl

# 进入真正的登陆后的页面
# 拿最后获取的 get2Url 进入登陆后页面
# lastResponse = s.get(url=get2Url,headers=jumpHeaders,verify=False)
# print(lastResponse.status_code)
# print(lastResponse.url)
'''

上面这段代码是登陆某检索网站的全部思路，其中对于登陆该网站而言真正有用的是【1~90行】，那为什么还有这么多呢？那是因为之前的经验蒙蔽了我得双眼，比如下面这两者情况：

第一种

 

第二种

【这里开始分析】： 以前碰到的是上图中第一种；那儿有两个框，分别标了1和2；2代表的是真正请求的爬取网站，1代表真正请求前跳转的网站，一般这种跳转网站字节少，上面箭头已给出对比；两个框里面的状态码 都是200，表示这都是有响应的，通常情况下，这种跳转网页的响应中都包含了真正请求爬取网站所需的参数或者cookie，因此要登陆这种有跳转的爬取网站都必须先去跳转网站获取数据；这里有难度的登陆网站【个人经验】会做以下几点：（1）将跳转网站链接参数用js加密，让大部分爬虫挂在这儿，（2）不加密跳转网站链接参数，转为js加密数据【哪些数据？那些在处理登陆问题时要用到的数据】（3）上述两个不全加密 （4 ）【有哪些加密方法啊？这个我晓得几个，不过现在还无法搞定，等能搞定再写一篇解密】

　　上图中第二种：框框共有4个，其中2和3明显属于页面跳转链接，于是经验使然，直接打开fiddler开始分析链接参数啊、下一步需要的数据啊，哎，发现两个都没有加密过，只是位置变来变去，ok，没什么大问题，搞定后开始将数据代入真正请求的爬取网址，代码开始运行....

然后就发现...好像将表单提交之后，就已经进入爬取页面了。 嗯？？！！ WTF ? 那我后面还搞了这么多，不是瞎搞啊 ？ 什么情况呢？

然后就发现上图框框中标记的1、2、3、4啊，前面的状态码，不太对！ 中间那两个302是什么意思？ 呃 ？ 忘了，然后baidu ，哦？302表示临时的url重定向url！！ 原来是这样，难怪不用我自己发送请求，原来是多此一举【总结这个网站，呃，除了数据绕了点，好像其他没上什么高难度的操作，嗯，很友好我喜欢！！！】

【结语】此次目的就是登陆，因此写了登陆时测试的代码【呸，写的都是什么，这么乱还能叫代码？】，如果后续要爬取数据的话，思路是这样的：

1、加入ip代理【先测试一个ip能爬多少个，然后退出登陆，换headers，ip重新登陆再爬取，这样循环...】

2、引入线程【一个爬数据，一个存数据到本地（啥形式？随便。注意存的时候要查下重），主要是为了防止：一旦错误发生，数据全部丢失，又得重来】

3、如果有大量url，那就建个url管理器，并将url实时导入导出到本地【这样一旦发生错误，还可以从断开的url继续爬，虽然要牺牲些时间】

【最后】

【有一个问题求助：在某个链接的参数上遇到了【MmEwMD】这个js加密，求个例子解法】