爬虫（8） - 可视化爬虫框架Selenium

基本使用

selenium在爬虫中的应用

• 获取动态网页中的数据，一些动态的数据我们在获取的源码中并没有显示的之一类动态加载数据
• 可用于模拟登录

 

安装selenium

pip install selenium

 

下载浏览器驱动

Chrome浏览器

下载地址：http://chromedriver.storage.googleapis.com/index.html

注意：webdriver的版本与浏览器版本有者对应关系

1）首先，查看当前浏览器的版本，方法如下图所示

2）然后，下载支持102版本的webdriver，以Windows系统为例，如下图所示

点击进入102.0.5005.61

3) 将下载的文件解压缩，放到文件夹中

 

 

调用浏览器访问动态网页数据

直接参开，这个比较细，基础的东西，此处不赘诉https://zhuanlan.zhihu.com/p/470278623