爬虫笔记之零度代理（token）
难度： ☆☆☆☆☆ 0星
一、目标
这个链接是一个代理列表：
http://3bodyhome.com/proxy
正常的来讲应该是有数据的，但是不知道为啥这里没有，可能是挂了，不过这个不是重点，打开开发者工具，看下Network里有个接口：
http://3bodyhome.com/proxy?page=2&num=15&token=f02e62aaa6e563cc606d65ca0e7cf9b5&t=1605278006
这个就是获取代理列表的，它的参数如下：
本次要搞定的就是token参数。
二、分析
先对那个接口打个xhr断点：
因为是ajax的接口吗，所以猜测单击“下一页”的按钮时是会发出翻页请求的，所以加完断点不必刷新页面，直接单击“下一页”按钮即可进入断点，然后格式化代码：
在调用栈上单击前面的栈帧回溯，找参数是在哪里生成的，其实也不用每个栈帧都看，圈出来的那个栈帧很明显就是发请求的地方：
定位到这个栈帧之后，直接就找到生成请求url的地方了，框起来的部分就是生成逻辑。
page就是要看第几页，num就是一页有多少条，timestamp就是10位的时间戳，token就是md5(page + num + timestamp)，接下来就是编码实现了。
三、编码实现
这个接口已经挂掉了，虽然不知道编码实现还有啥意义，但还是搞一下，毕竟仪式感很重要...
#!/usr/bin/env python3
# encoding: utf-8
"""
@author: CC11001100
"""
import hashlib
import time
import requests
def crawl(page, num=15):
# 需要先访问doc拿到一个cookie
session = requests.session()
url = "http://3bodyhome.com/proxy"
r = session.get(url)
print(f"拿到了cookie{r.cookies}")
# 然后再访问接口才能拿到正确的响应
# 没有cookie访问接口会返回：
# {"msg": "emmm...", "status": false}
ts = int(time.time())
token = hashlib.md5(f"{page}{num}{ts}".encode("UTF-8")).hexdigest()
url = f"http://3bodyhome.com/proxy?page={page}&num={num}&token={token}&t={ts}"
print(url)
return session.get(url).text
if __name__ == "__main__":
print(crawl(1)) # {"status": "true", "list": "OUhcUg=="}
仓库：
请注意爬虫文章具有时效性，本文写于2020-11-13日。
