Selenium
1.安装：pip install Selenium==3.0.1
或 从官网https://pypi.python.org/pypi/selenium下载源代码压缩后,运行python setup.py install
selenium3.x调用浏览器必须下载一个类似补丁的文件，比如Firefox的为geckodriver,Chrome的为chromedriver
本版本补丁下载地址：http://www.seleniumhq.org/download/ 将下载补丁所在目录添加到环境变量
2.快速入门
1 # _*_ coding:utf-8 _*_ 2 __author__ = 'boby' 3 __date__ = '2018/5/27 0027 上午 9:35' 4 from selenium import webdriver 5 from selenium.webdriver.common.keys import Keys 6 import time 7 8 driver= webdriver.Chrome(r'C:\Users\Administrator\AppData\Local\Google\Chrome\Application\chromedriver.exe') 9 driver.get('http://www.baidu.com') 10 assert u'百度' in driver.title 11 elem= driver.find_element_by_name('wd') 12 elem.clear() 13 elem.send_keys(u"网络爬虫") 14 elem.send_keys(Keys.RETURN) 15 time.sleep(3) 16 assert u"网络爬虫." not in driver.page_source 17 driver.close()
除了上面具有确定功能的方法，还有两个通用的方法find_element 和 find_elements,可以通过传入参数来指定功能。
实例如下：
from selenium.webdriver.common.by import By driver.find_element(By.XPATH,'//button[text()="Some text"]') #通过xpath表达式来查找
该方式的第一个参数还有:
页面的操作：
1 <html> 2 <heade> 3 <meta http-equiv='content-type' content='text/html;charset=gbk'> 4 <head> 5 <body> 6 <h1>Welcome</h1> 7 <p class="content">用户登录<p> 8 <form id='loginForm'> 9 <select name="loginways"> 10 <option value="email">邮箱</option> 11 <option value="mobile">手机号</option> 12 <option value='name'>用户名</option> 13 </select> 14 <br/> 15 <input name="username" type="text"/> 16 <br/> 17 密码 18 <br/> 19 <input name="password" type="password" /> 20 <br/><br/> 21 <input name="continue" type="submit" value="login" /> 22 <input name="continue" type="button" value="Clear" /> 23 </from> 24 <a href="register.html">Register</a> 25 26 <body> 27 28 </html>
1.页面交互与填充表单
driver = webdriver.Chrome() driver.get("f://login.html") #初始化chrome浏览器，打开html文档
#获取用户名和密码输入框，和登录按钮
username= driver.find_element_by_name('username')
password=driver.find_element_by_xpath(".//*[@id='loginForm']/input[2]")
login_button=driver.find_element_by_xpath("//input[@type='submit']")
#使用send_keys()方法输入用户名和密码，使用click方法模拟点击登录
username.clear()
username.send_key('qiye')
password.send_keys('qiye_pass')
login_button.click()
#操作下拉选择方式
select= driver.find_element_by_xpath("//form/select")
all_options=select.fing_elements_by_tag_name('option')
for option in all_options:
print("Value is :%s"% option.get_attribute('value'))
option.click()
----------------------------------------------------
from selenium.webdriver.support.ui import Select
select=Select(driver.find_element_by_xpath('//form/select'))
select.select_by_index(index)
select.select_by_visible_text['text']
select.select_by_value(value)
#根据索引，文字，value值来选择选项卡中的某一项
3.窗口和页面frame的切换
一个浏览器一般都会开多个窗口，我们可以switch_to_window方法实现指定窗口的切换
driver.switch_to_windos('windowName')
也可以通过windows handle 来获取每个窗口的操作对象。如下：
for handle in driver.window_handles:
driver.switch_to_window(handle)
如需切换页面frame,可以使用switch_to_frame方法，实例如下：
driver.switch_to_frame('frameName')
driver.switch_to_frame('frameName.0.child')
4.弹窗处理
alert= driver.switch_to_alert()
alert.dismiss()
5.历史记录 页面的前进与后退
driver.forward()
driver.back()
6.Cookie处理
driver.get("http://www.baidu.com")
cookie={'name':'foo','value':'bar'}
driver.add_cookie(cookie)
dirver.get_cookie()
7.设置PhantomJS请求头中的User-Agent
一般针对phantonJS的反爬措施，默认的User-Agent中含有phantomJS内容，可以通过以下内容进行修改。
dcap=dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"]=(
"MOzilla/5.0(Linus;Android 5.1.1;Nexus 6 BUild/LYZ28E) AppleWebKit/537.36(KHTML,like Gecko) Chrome/48.0.2564.23 MObile Safari/537.36"
)
driver=webriver.PhantomJS（）
driver.get('http://www.google.com')
driver.quit()
等待
由于现在的很多网站采用Ajax技术，不确定网页元素什么时候能够完全加载，所以网页元素选择会比较困难，这时候就需要等待。Selenium有两种等待凡是：显示，隐式
#显示等待 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import webDriverWait from selenium.webdriver.support import expected_conditions as EC driver= webdriver.Chrome(r'C:\Users\Administrator\AppData\Local\Google\Chrome\Application\chromedriver.exe') driver.get('http://somedomain/url_that_delays_loading') try: element= WebDriverWait(driver,10).until( EC.precence_of_element_located((By.ID,'myDynamicElement')) ) finally: driver.quit()
隐式等待
作用范围是Webdriver对象实例的整个生命周期，也就是说Webdriver执行每条命令的超时时间都是如此
from selenium import webdriver driver = webdriver.CHrome(r'C:\Users\Administrator\AppData\Local\Google\Chrome\Application\chromedriver.exe') driver.implicitly_wait(100) driver.get('http://baidu.com') myDynameElement= driver.find_element_by_id("myDynamicElement")
线程休眠
time.sleep(time)
