2020年3月31日
摘要：
一、虚拟环境 mkvirtualenv --python=/usr/local/bin/python3 scrapy workon scrapy 二、安装Scrapy pip install scrapy 三、Scrapy终端 pip install ipython Scrapy终端是一个交互终端， 阅读全文
摘要：
参考文章： https://blog.csdn.net/GAMEloft9/article/details/81017262 https://github.com/SeleniumHQ/selenium/wiki/Grid2 下载地址 http://selenium-release.storage. 阅读全文
摘要：
Selenium Firefox方案的使用过程基本类似Selenium Chrome方案，但痛点是未找到合理的方法动态设置代理，最后放弃了使用。 参考文章： 动态设置代理 https://stackoverflow.com/questions/20884089/dynamically-changin 阅读全文
摘要：
Selemium参考文章： https://www.jianshu.com/p/a1a64f649472 https://blog.csdn.net/htsait4113/article/details/84326817 https://blog.csdn.net/zhusongziye/artic 阅读全文
摘要：
一、方案： 之前我们学习的内容都是抓取静态页面，每次请求，它的网页全部信息将会一次呈现出来。 但是，像比如一些购物网站，他们的商品信息都是js加载出来的，并且会有ajax异步加载。像这样的情况，直接使用scrapy的Request请求是拿不到我们想要的信息的，解决的方法就是使用selenium或者s 阅读全文