Fork me on GitHub
2019年3月2日
scrapy-redis+selenium+webdriver解决动态代理ip和user-agent的问题（全网唯一完整代码解决方案）
摘要： 问题描述：在爬取一些反爬机制做的比较好的网站时，经常会遇见一个问题就网站代码是通过js写的，这种就无法直接使用一般的爬虫工具爬取，这种情况一般有两种解决方案 第一种：把js代码转为html代码，然后再使用html代码解析工具爬取，目前常用的工具是selenium和scrapy-splash,我使用的 阅读全文
posted @ 2019-03-02 17:32 猿起缘灭 阅读(4819) 评论(0) 推荐(0) 编辑