知乎爬虫之3:请求分析（附赠之前爬取的数据一份）
本文由博主原创,转载请注明出处：我的博客-知乎爬虫之3:请求分析
git爬虫项目地址(关注和star在哪里~~):https://github.com/MatrixSeven/ZhihuSpider （已经完结）
附赠之前爬取的数据一份(mysql): 链接:https://github.com/MatrixSeven/ZhihuSpider/README.MD 只下载不点赞，不star，差评差评~蓝瘦香菇）
咱们上一篇所长说了爬虫的爬取大概思路：知乎爬虫之2:爬虫流程设计(附赠爬出的数据库),这一篇幅就来研究分析下模拟登陆知乎.
ps：拿数据的好多啊~只下载不点赞，不star，蓝瘦香菇
首先来说,网上模拟登陆知乎的文章已经是多不胜数,而且模拟登陆知乎也比模拟登陆微博百度简单很多,但是本着善始善终的原则,咱们还是重头到尾的过上一遍.
1.工具
恩,工具呢,就用咱们自己平时用的浏览器就ok.牛逼闪闪的f12,就足够用.然后在使用下Fiddler来查看下登陆状态…
2.登陆分析
打开http://www.zhihu.com,点击登陆,然后直接F12,调试出开发者工具,选择NetWork,输入账号 密码 和验证码,点击登陆,发现右侧出现了网络请求.
发现有个email的请求,请求信息为:
请求地址:https://www.zhihu.com/login/email
请求方式:post
下面的内容先不去管它,直接拽到最下面:
..发现有如下信息
_xsrf:xxxxxxxxxxxxxxxxxx
password:xxxxx
captcha:HDMG
email:xxxxxx@xx.com
恩,就是Post一下,看看登陆时候成功,并且抓一下登陆失败时的错误信息.
故意输入错误邮箱 ,密码
拿到如下结果:
1. 邮箱不存在:
2. 密码错误:
那么登陆成功是怎么一种标识状态呢?
咱们这里借助下Fiddler
打开Fiddler,再次进项知乎登陆,然后找到 https://www.zhihu.com/login/email 这个请求.发现登陆成功后返回了一个Json串:
恩,那么还有一个_xsrf,那么这个参数在哪里呢?
其实_xsrf这种东西,基本都存在于页面的源码里,打开登陆页面,右键查看查看源代码,可发现:
哈哈,原来在一个隐藏域里....
哈哈,这是不是故意就让人爬的了...过程比我想象中的简单很多..
但是具体行不行呢,还得上代码试一试哈哈...
## 3.跟随/关注分析
直接打开https://www.zhihu.com/people/Sweets07/followers,然后f12,开始分析请求.
直接滚动页面,发现出现异步请求,请求地址为:
https://www.zhihu.com/api/v4/members/Sweets07/followers?per_page=10&include=data%5B%2A%5D.employments%2Ccover_url%2Callow_message%2Canswer_count%2Carticles_count%2Cfavorite_count%2Cfollower_count%2Cgender%2Cis_followed%2Cmessage_thread_token%2Cis_following%2Cbadge%5B%3F%28type%3Dbest_answerer%29%5D.topics&limit=10&offset=30
可发现请求参数为:
include:data[*].employments,cover_url,allow_message,answer_count,articles_count,favorite_count,follower_count,gender,is_followed,message_thread_token,is_following,badge[?(type=best_answerer)].topics
limit:10
offset:30
返回的Json为:
哇塞.里面有各种信息...
如:
1. 下一个请求的地址
2. 人员信息,id啊,头像啊,学校,公司,签名啊,关注人数.....
恩,其实咱们拿一部分就够了,对,就是那个ID...有的id就可以直接打开个人页面了..然后说这个请求有些问题,因为直接带着cookie get会出现一个错误:
{"message":"身份未经过验证","code":100,"name":"AuthenticationException"}
这个是因为在请求的时候多了一个头:
那么这个参数在哪里呢??
找来找去,最后发现,这个参数在请求个人主页信息的cookie里.
跟随者和关注者差不多.....
就到这里吧,下一步开始撸代码...
//吾爱Java(QQ群):170936712（点击加入）
