2月3日-寒假进度03

今天心神俱疲,准备爬取淘宝数据,淘宝的反爬机制太严格了,用的python➕selenium➕chrome去爬的数据,一天就是在坑里挣扎,

1.谷歌浏览器驱动界面必须是有谷歌浏览器的哈,然后对应自己浏览器的版本去下载chromedriver.exe文件,下载地址可看下篇博客

2.可能因为版本问题或者网络问题,爬取数据时,经过页面跳转后,会出现标签定位不到的问题,但和同学沟通看来,我的这样但她却没类似问题,开始以为是我的标签没写对,研究了好久,浪费了很长时间。大概有3个小时都耗在这了,(欲哭无泪啊),网上查找原因或许是页面跳转后不稳定导致的,只解决了百分之50(解决办法在下篇博客统一总结了)索性最后先存下详情链接,之后再去爬。。。。。。若有大佬看到这篇没质量的博客,并有方法,求评论告知😭😭

 

 

 

 

今日总结:每天在一个问题上消耗很长时间,没多大进展,慌得一批,明天继续爬数据,(爬了一点点,我的淘宝账号还给我封了。。)

明天继续爬数据,文章发布!

 

posted @ 2020-02-03 23:17  萌萌程序猿  阅读(102)  评论(0编辑  收藏  举报