Python网络爬虫 第三章 requests进阶
我们在之前的爬⾍中其实已经使⽤过headers了。 header为HTTP协议中的请求头. ⼀般存放⼀些和请求内容⽆关的数据，有时也会存放⼀些安全验证信息.⽐如常⻅的User-Agent, token, cookie等。
通过requests发送的请求, 我们可以把请求头信息放在headers中， 也可以单独进⾏存放, 最终由requests⾃动帮我们拼接成完整的http请求头。
一、处理cookie模拟登录
这里以17k小说网为例https://www.17k.com/
我们的目的是先去登录，得到用户信息的cookie，带着cookie 去请求到书架url，获得书架上的内容。这个过程中使用了一个新的概念session会话
可以直接理解成session是一连串的请求. 在这个过程中的cookie不会丢失。
1、登录
利用F12获取到登录需要的用户名密码来源。
Request URL: https://passport.17k.com/ck/user/login
post方法
2、拿书架上的数据
Request URL:
https://user.17k.com/ck/author/shelf?page=1&appKey=2406394919
3、代码
import requests # 会话 session = requests.session() data = { "loginName": "18614075987", "password": "q6035945" } # 1. 登录 url = "https://passport.17k.com/ck/user/login" session.post(url, data=data) # resp = session.post(url, data=data) # print(resp.text) # print(resp.cookies) # 看cookie # # # 2. 拿书架上的数据 # # 刚才的那个session中是有cookie的 resp = session.get('https://user.17k.com/ck/author/shelf?page=1&appKey=2406394919') print(resp.json())
二、防盗链的处理
我们日常访问网页，如果从一个网页跳转到另一个网页，http 头字段里面会带个 Referer的参数。那么图片服务器通过检测 Referer 是否来自指定域名，来进行防盗链。
简单点说，服务器会判断你是否从规定的域名来访问图片或者视频，如果是那么就正常显示，不是的话，会跳转到别的地方，那么我们用爬虫所采集的图片就会出现问题！
这里我们以梨视频网站为例讲解一下，其中一个视频的URL链接为https://www.pearvideo.com/video_1728542
利用F12可以找到视频的播放源，但是直接查看网页源代码却找不到，可以推断视频资源是通过后期JS生成出来的。
查看一下XHR，预览后发现这样一个链接https://video.pearvideo.com/mp4/adshort/20210503/1620027759929-15669083_adpkg-ad_hd.mp4
但是却发现打不开这个链接？
对比一下，发现只有cont那部分内容不同，猜测应该进行了替换，所以我们只需要获取cont部分拼接一下，就能获得播放视频的链接了。cont应该就是梨视频的视频编号，我们一开始进去的链接上就含有这个编号video_1728542
到现在可以梳理一下整个过程
- 1. 拿到contId
- 2. 拿到videoStatus返回的json. -> srcURL
- 3. srcURL里面的内容进行修整
- 4. 下载视频
import requests # 拉取视频的网址 url = "https://www.pearvideo.com/video_1728542" contId = url.split("_")[1] videoStatusUrl = f"https://www.pearvideo.com/videoStatus.jsp?contId={contId}" headers = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.192 Safari/537.36", # 防盗链: 溯源, 当前本次请求的上一级是谁 "Referer": url } resp = requests.get(videoStatusUrl, headers=headers) dic = resp.json() srcUrl = dic['videoInfo']['videos']['srcUrl'] systemTime = dic['systemTime'] srcUrl = srcUrl.replace(systemTime, f"cont-{contId}") # 下载视频 with open("a.mp4", mode="wb") as f: f.write(requests.get(srcUrl).content)
三、代理
当我们反复抓取⼀个⽹站时, 由于请求过于频繁, 服务器很可能会将你的IP进⾏封锁来反爬. 应对⽅案就是通过⽹络代理的形式进⾏伪装.
代理的原理:
从图上可以得知. 对于⽬标⽹站来说. 是通过代理服务器发送的请求.也就可以避免你的IP被封锁了.
爬⾍如何使⽤代理
# 原理. 通过第三方的一个机器去发送请求 import requests # 218.60.8.83:3129 proxies = { "https": "https://218.60.8.83:3129" } resp = requests.get("https://www.baidu.com", proxies=proxies) resp.encoding = 'utf-8' print(resp.text)
四、综合训练 抓取⽹易云⾳乐评论信息
以我最喜欢的歌手许嵩的《雅俗共赏》为例
https://music.163.com/#/song?id=411214279
先准备好
pip install pycryptodome
但是请求的参数是一堆完全看不懂的信息，似乎是被加密过？
至此，我们的需求是
- 1. 找到未加密的参数
- 2. 想办法把参数进行加密(必须参考网易的逻辑),params encSecKey
- 3. 请求到网易. 拿到评论信息
这里先通过调用栈，查看一下有哪些js脚本执行过
网易云音乐评论的URL https://music.163.com/weapi/comment/resource/comments/get?csrf_token=
注意到这里参数依旧是被加密的，我们需要向前找找到底是在哪里参数开始被加密了。调用Call Stack查看一下。
基本可以断定是在这里被加密了
一步步调试，参数和加密过程基本可以确定
请求参数：
data = { "csrf_token": "", "cursor": "-1", "offset": "0", "orderType": "1", "pageNo": "1", "pageSize": "20", "rid": "R_SO_4_411214279", "threadId": "R_SO_4_411214279" }
加密过程 直接搜索window.asrsea，入口是d
加密过程
!function() { function a(a) { var d, e, b = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789", c = ""; for (d = 0; a > d; d += 1) e = Math.random() * b.length, e = Math.floor(e), c += b.charAt(e); return c } function b(a, b) { var c = CryptoJS.enc.Utf8.parse(b) , d = CryptoJS.enc.Utf8.parse("0102030405060708") , e = CryptoJS.enc.Utf8.parse(a) , f = CryptoJS.AES.encrypt(e, c, { iv: d, mode: CryptoJS.mode.CBC }); return f.toString() } function c(a, b, c) { var d, e; return setMaxDigits(131), d = new RSAKeyPair(b,"",c), e = encryptedString(d, a) } function d(d, e, f, g) { var h = {} , i = a(16); return h.encText = b(d, g), h.encText = b(h.encText, i), h.encSecKey = c(i, e, f), h } function e(a, b, d, e) { var f = {}; return f.encText = c(a + e, b, d), f } window.asrsea = d, window.ecnonasr = e }();
解析一下
function a(a = 16) { # 随机的16位字符串 var d, e, b = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789", c = ""; for (d = 0; a > d; d += 1) # 循环16次 e = Math.random() * b.length, # 随机数 1.2345 e = Math.floor(e), # 取整 1 c += b.charAt(e); # 去字符串中的xxx位置 b return c } function b(a, b) { # a是要加密的内容, var c = CryptoJS.enc.Utf8.parse(b) # # b是秘钥 , d = CryptoJS.enc.Utf8.parse("0102030405060708") , e = CryptoJS.enc.Utf8.parse(a) # e是数据 , f = CryptoJS.AES.encrypt(e, c, { # c 加密的秘钥 iv: d, # 偏移量 mode: CryptoJS.mode.CBC # 模式: cbc }); return f.toString() } function c(a, b, c) { # c里面不产生随机数 var d, e; return setMaxDigits(131), d = new RSAKeyPair(b,"",c), e = encryptedString(d, a) } function d(d, e, f, g) { d: 数据, e: 010001, f: 很长, g: 0CoJUm6Qyw8W8jud var h = {} # 空对象 , i = a(16); # i就是一个16位的随机值, 把i设置成定值 h.encText = b(d, g) # g秘钥 h.encText = b(h.encText, i) # 返回的就是params i也是秘钥 h.encSecKey = c(i, e, f) # 得到的就是encSecKey, e和f是定死的 ,如果此时我把i固定, 得到的key一定是固定的 return h } 两次加密: 数据+g => b => 第一次加密+i => b = params
最后的代码
# 1. 找到未加密的参数 # window.arsea(参数, xxxx,xxx,xxx) # 2. 想办法把参数进行加密(必须参考网易的逻辑), params => encText, encSecKey => encSecKey # 3. 请求到网易. 拿到评论信息 # 需要安装pycrypto: from Crypto.Cipher import AES from base64 import b64encode import requests import json url = "https://music.163.com/weapi/comment/resource/comments/get?csrf_token=" # 请求方式是POST data = { "csrf_token": "", "cursor": "-1", "offset": "0", "orderType": "1", "pageNo": "1", "pageSize": "20", "rid": "R_SO_4_411214279", "threadId": "R_SO_4_411214279" } # 服务于d的 f = "00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7" g = "0CoJUm6Qyw8W8jud" e = "010001" i = "d5bpgMn9byrHNtAh" # 手动固定的. -> 人家函数中是随机的 def get_encSecKey(): # 由于i是固定的. 那么encSecText就是固定的. c()函数的结果就是固定的 return "1b5c4ad466aabcfb713940efed0c99a1030bce2456462c73d8383c60e751b069c24f82e60386186d4413e9d7f7a9c7cf89fb06e40e52f28b84b8786b476738a12b81ac60a3ff70e00b085c886a6600c012b61dbf418af84eb0be5b735988addafbd7221903c44d027b2696f1cd50c49917e515398bcc6080233c71142d226ebb" # 把参数进行加密 def get_params(data): # 默认这里接收到的是字符串 first = enc_params(data, g) second = enc_params(first, i) return second # 返回的就是params # 转化成16的倍数, 位下方的加密算法服务 def to_16(data): pad = 16 - len(data) % 16 data += chr(pad) * pad return data # 加密过程 def enc_params(data, key): iv = "0102030405060708" data = to_16(data) aes = AES.new(key=key.encode("utf-8"), IV=iv.encode('utf-8'), mode=AES.MODE_CBC) # 创建加密器 bs = aes.encrypt(data.encode("utf-8")) # 加密, 加密的内容的长度必须是16的倍数 return str(b64encode(bs), "utf-8") # 转化成字符串返回, # 处理加密过程 """ function a(a = 16) { # 随机的16位字符串 var d, e, b = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789", c = ""; for (d = 0; a > d; d += 1) # 循环16次 e = Math.random() * b.length, # 随机数 1.2345 e = Math.floor(e), # 取整 1 c += b.charAt(e); # 去字符串中的xxx位置 b return c } function b(a, b) { # a是要加密的内容, var c = CryptoJS.enc.Utf8.parse(b) # # b是秘钥 , d = CryptoJS.enc.Utf8.parse("0102030405060708") , e = CryptoJS.enc.Utf8.parse(a) # e是数据 , f = CryptoJS.AES.encrypt(e, c, { # c 加密的秘钥 iv: d, # 偏移量 mode: CryptoJS.mode.CBC # 模式: cbc }); return f.toString() } function c(a, b, c) { # c里面不产生随机数 var d, e; return setMaxDigits(131), d = new RSAKeyPair(b,"",c), e = encryptedString(d, a) } function d(d, e, f, g) { d: 数据, e: 010001, f: 很长, g: 0CoJUm6Qyw8W8jud var h = {} # 空对象 , i = a(16); # i就是一个16位的随机值, 把i设置成定值 h.encText = b(d, g) # g秘钥 h.encText = b(h.encText, i) # 返回的就是params i也是秘钥 h.encSecKey = c(i, e, f) # 得到的就是encSecKey, e和f是定死的 ,如果此时我把i固定, 得到的key一定是固定的 return h } 两次加密: 数据+g => b => 第一次加密+i => b = params """ # 发送请求. 得到评论结果 resp = requests.post(url, data={ "params": get_params(json.dumps(data)), "encSecKey": get_encSecKey() }) print(resp.text)
代码倒还好，最难的是整个推导过程，涉及到了前端和密码学的知识，有点坑。。。
