GhostAatrox
总有一个理由,让自己开始变强

此页记录从学爬虫以来的所有错误、问题以及处理方法:

反反爬虫:

1.验证码问题(学习传统验证码、滑动验证码后详细记录)#暂未解决

2.IP被封或访问频繁(用IP池)#暂未解决

3.设置多重分链 如:href = 全站+跳转site或href =/跳转site、or 爬取的TAG多变(跳转报错后 构建try函数来报出异常reason并以此构建函数跳转回来)(TAG抓取不全时,仔细观察 抓取多个TAG直到完全抓取#根据条数判断是否抓取完全)

各种语法问题:

 

posted on 2018-03-24 00:54  GhostAatrox  阅读(152)  评论(0编辑  收藏  举报