爬虫_selenium_基本使用

1.什么是selenium？

（1）selenium是一个用于web应用程序测试工具

（2）selenium测试直接运行在浏览器中，就像真正的用户在操作一样

（3）支持通过各种driver（FirfoxDirver,IternetExploreDriver,OperaDriver,ChromeDriver）驱动真实浏览器完成测试

（4）selenium也是支持无界面浏览器操作的

2.为什么使用seleninum？

　　模拟浏览器功能，自动执行网页中的js代码，实现动态加载

3.如何安装selenium？

(1)操作谷歌浏览器驱动下载地址

　　http://chromedriver.storage.googleapis.com/index.html

 

 要和自己的浏览器版本一样即可。

 

 

 

 下载后解压将exe文件复制到代码目录下即可

 

 

(2)谷歌驱动和谷歌浏览器版本之间的映射表

　　http://blog.csdn/huilan_same/article/details/51896672

(3)查看谷歌浏览器版本

　　谷歌浏览器右上角-》帮助-》关于

 

 

(4) pycharm中安装selenium

　　pip install selenium

或

     pip install selenium -i https://pypi.douban.com/simple

4.selenium的使用步骤？

（1）导入：from selenium import webdriver

（2）创建谷歌浏览器操作对象：

　　path = 谷歌浏览器驱动文件路径

　　browser = webdriver.chrome(path) 

（3）访问网址

　　url = 要访问的网址

　　browser.get(url)

 

代码：

#（1）导入selenium
from selenium import webdriver
#（2）创建浏览器操作对象
path = 'chromedriver.exe'
browser = webdriver.Chrome(path)
#（3）访问网站
url = 'https://www.jd.com'
browser.get(url)
#（4）page_source获取网页源码
content = browser.page_source
print(content)

运行结果：

 

 如果不使用selenium则获取的数据不全，比如“京东秒杀”

正常访问代码：

import urllib.request

url = 'https://www.jd.com'
response = urllib.request.urlopen(url)
content = response.read().decode('utf-8')
print(content)

正常访问的运行结果：