2018年12月22日
用于爬取知乎某个话题下的精华问题中所有回答的爬虫
摘要： 思路 我的整个算法的思路还是很简单的，文字版步骤如下：1、通过话题广场进入某个话题的页面，避免了登陆注册页面的验证，查找到对应要爬取的话题，从 url 中得到话题id2、该页面的所有资源采用了延迟加载，如果采用模拟浏览器进行加载的话还是很麻烦，经研究后发现知乎有前后端数据传输的api，所以获取数据方 阅读全文
posted @ 2018-12-22 13:27 bw98 阅读(1496) 评论(0) 推荐(0) 编辑