此页记录从学爬虫以来的所有错误、问题以及处理方法:
反反爬虫:
1.验证码问题(学习传统验证码、滑动验证码后详细记录)#暂未解决
2.IP被封或访问频繁(用IP池)#暂未解决
3.设置多重分链 如:href = 全站+跳转site或href =/跳转site、or 爬取的TAG多变(跳转报错后 构建try函数来报出异常reason并以此构建函数跳转回来)(TAG抓取不全时,仔细观察 抓取多个TAG直到完全抓取#根据条数判断是否抓取完全)
各种语法问题:
总有一个理由,会让我们开始变强。