摘要:
爬取的过程中遇到了10002:请求参数异常,请升级客户端后重试,调用知乎某用户的回答API返回的HTTP状态码是403 Forbidden 之后找了一篇博客,里面给出的解决方案是:使用自己打开的一个浏览器,再用selenium接管这个浏览器这样就可以完成反爬的处理。 下面分享一个低配版知乎爬虫,利用 阅读全文
摘要:
忙了一上午学这个Selenium 考虑到我有备份博客园博客的需求,所以实战是仿着写了下面的代码,功能是Selenium爬取某用户博客园首页的全部博客 第一版只是把文章url和标题爬取了下来,博客网页另存为mhtml格式到本地 有时间会继续更新 from selenium import webdriv 阅读全文