爬虫模块介绍--selenium （浏览器自动化测试工具，模拟可以调用浏览器模拟人操作浏览器）
selenium主要的用途就是控制浏览器，模仿真人操作浏览器的行为
模块安装：pip3 install selenium
需要控制的浏览器
from selenium import webdriver # 调用这个模块
browser=webdriver.Chrome() # 控制谷歌浏览器
PS：调用谷歌浏览器需要下载一个驱动：http://npm.taobao.org/mirrors/chromedriver/2.38/ # 下载对应版本的即可
PS：解压后得到一个exe程序，可以放到项目的根路径，也可以放到python的根路径下（放入python的安装路径下不用在代码中配置驱动路径）
browser=webdriver.Firefox() # 控制火狐浏览器
browser=webdriver.PhantomJS()
browser=webdriver.Safari() # 控制苹果的浏览器
browser=webdriver.Edge() # 控制ie浏览器
from selenium.webdriver.common.keys import Keys # 导入这个模块就是可以模拟键盘操作
from selenium import webdriver # 导入这个模块可以控制浏览器
selenium模块下的所有方法
find_element和find_elements的区别，没有s的就是只找出匹配的第一个，有s的就是找出匹配到所有的
find_element_by_id # 根据id查找控件 find_element_by_link_text # 根据链接的名字模糊查找控件
PS：注意这个链接就是只link类型的标签，非链接标签用这个是无法找到控件的
find_element_by_partial_link_text # 模糊匹配 find_element_by_tag_name # 通过标签名查找 find_element_by_class_name # 根据类名查找控件 find_element_by_name # 根据标签名查找控件 find_element_by_css_selector # 通过css选择器取控件 find_element_by_xpath 上述均可以改写成find_element(By.ID,'kw')的形式 find_elements_by_xxx的形式是查找到多个元素，结果为列表
selenium 模块的基本使用
from selenium import webdriver
import time
bro = webdriver.Chrome() # 实例化对象，这个对象就是需要控制的浏览器
bro.get('http://www.baidu.com') # 向一个地址发送一个请求
print(bro.page_source) # 拿到的页面内容用page_source
time.sleep(5)
bro.close() # 这个就是关闭浏览器，一定要写
根据id查找控件
from selenium import webdriver
import time
'''打开百度在百度搜索西瓜'''
try:
bro = webdriver.Chrome() # 实例化对象，这个对象就是需要控制的浏览器
bro.get('http://www.baidu.com') # 向一个地址发送一个请求
input_k = bro.find_element_by_id('kw') # 根据id找到控件
key = input('请输入内容： ')
input_k.send_keys(key) # 向控件写入内容
time.sleep(10)
except Exception as e:
print(e)
# finally就是不管在什么情况下都关闭浏览器
finally:
bro.close() # 这个就是关闭浏览器，一定要写
from selenium import webdriver
import time
自动登录百度
try:
bro = webdriver.Chrome() # 实例化对象，这个对象就是需要控制的浏览器
# 隐式等待，一般都用隐式等待
bro.implicitly_wait(3) # 隐示等待 所有标签在找的时候，没有加载就等三秒
bro.get('http://www.baidu.com') # 向一个地址发送一个请求
time.sleep(3)
login_btn = bro.find_element_by_link_text('登录') # 通过链接名查找到登陆的控件
login_btn.click() # 点击控件
login_user = bro.find_element_by_id('TANGRAM__PSP_10__footerULoginBtn') # 通过di找到用户名登陆的控件
login_user.click() # 点击控件
username_input = bro.find_element_by_id('TANGRAM__PSP_10__userName') # 通过id找到输入账号的控件
username_input.send_keys('15618935321') # 输入账号
password_input = bro.find_element_by_id('TANGRAM__PSP_10__password') # 通过id找到输入密码的控件
password_input.send_keys('Pq12344321') # 输入密码
time.sleep(3) # 这里一定要等待几秒，因为验证码的页面时动态生成的，所以程序直接走是取不到验证码发送控件的，隐式等待无效，如果不等待几秒，则程序直接报错取不到验证码的控件
login_code = bro.find_element_by_id('TANGRAM__PSP_10__submit') # 找到登陆确定的控件
login_code.click() # 点击控件
time.sleep(5)
click_ver_code = bro.find_element_by_id('TANGRAM__39__button_send_mobile') # 找到发送验证码的控件
click_ver_code.click() # 点击控件
ver_code = bro.find_element_by_id('TANGRAM__39__input_vcode') # 找到输入验证码的控件
ver_input = input('请输入验证码： ') # 让用户输入验证码
time.sleep(30)
ver_code.send_keys(ver_input) # 将输入的内容写到控件
log_10 = bro.find_element_by_id('TANGRAM__39__button_submit') # 找到确定控件
log_10.click() # 点击确定登陆成功
time.sleep(30)
except Exception as e:
print(e)
# finally就是不管在什么情况下都关闭浏览器
finally:
bro.close() # 这个就是关闭浏览器，一定要写
PS：程序走的很快，一瞬间，但是页面加载内容需要时间，所以需要用到隐式等待
wait = WebDriverWait(broswer, 3) # 显示等待，元素没加载出来，就等三秒，指定控件等待，每个控件都要写比较麻烦
broswer.implicitly_wait(3) # 隐示等待 所有标签在找的时候，没有加载就等三秒，只要在开头写一个比较方便
PS：对于动态生成的页面隐式等待是无效的，所以针对这种页面在程序中必须让程序time.sleep等待几秒才能取到控件
爬取京东手机商品的信息
from selenium import webdriver
from selenium.webdriver.common.keys import Keys # 控制键盘需要这个模块
from selenium.webdriver import ActionChains # 控制键盘需要这个模块组合Keys模块使用
import time,requests
# 首页的操作
def spider():
try:
# 进入首页输入搜索信息
bro = webdriver.Chrome() # 指定浏览器
bro.implicitly_wait(5) # 隐式等待
bro.get('https://www.jd.com/') # 打开首页
bro.maximize_window() # 这个参数是将浏览器全屏
input_serch = bro.find_element_by_id('key') # 获取输入框
input_serch.send_keys('手机') # 输入内容
input_serch.send_keys(Keys.ENTER) # 这个就是对着输入框模拟前盘敲回车
time.sleep(3)
actions = ActionChains(bro) # 实例化对象用来模拟浏览器的滚动条向下拉
for i in range(0,5):
time.sleep(1)
actions.key_down(Keys.PAGE_DOWN).perform() # 这个方法是按一次键盘PgDn的按键,方法每次只能按一下，所以需要for循环让页面到底部
# 调用方法
get_goods(bro)
except Exception as e:
print(e)
finally:
bro.close()
count = 0 # 这个是计数器
def get_goods(bro):
# 取出商品信息
li_list = bro.find_elements_by_class_name('gl-item')
global count
for li in li_list:
# 通过css选择器找出控件
p_name = li.find_element_by_css_selector('.p-name a').get_attribute('title') # 取标签里面的属性
price = li.find_element_by_css_selector('.p-price i').text # 取出控件里面的字符
commit = li.find_element_by_css_selector('.p-commit strong a').text # 取出控件里面的字符
url =li.find_element_by_css_selector('.p-name a').get_attribute('href') # 驱取出控件里面的属性的值
img_url = li.find_element_by_css_selector('.p-img a img').get_attribute('src') # 取到标签内的属性
# 调用保存图片方法
# save_img(img_url)
count += 1
print(
'''
序号：%s
商品名称： %s
商品价格：%s
商品地址： %s
商品评论数： %s
商品图片地址： %s
'''%(count,p_name,price,url,commit,img_url)
)
# 点击下一页
click_next = bro.find_element_by_css_selector('.pn-next em')
time.sleep(2)
click_next.click()
time.sleep(5)
# 这里调用进入首页函数，这就是递归
get_goods(bro)
def save_img(data):
'''保存函数'''
import time
res = requests.get(data)
with open('img/%s.jpg'%(time.time()),'wb')as f:
f.write(res.content)
if __name__ == '__main__':
spider()
selenium的其他方法
清空输入框
import time
time.sleep(3)
input_tag=browser.find_element_by_id('twotabsearchtextbox')
input_tag.clear() #清空输入框
input_tag.send_keys('iphone7plus')
button=browser.find_element_by_css_selector('#nav-search > form > div.nav-right > div > input')
button.click()
调用js代码：可以用js代码获取页面的信息
from selenium import webdriver from selenium.webdriver import ActionChains from selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTOR from selenium.webdriver.common.keys import Keys #键盘按键操作 from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素 try: browser=webdriver.Chrome() browser.get('https://www.baidu.com') browser.execute_script('alert("hello world")') #打印警告 finally: browser.close()
打开选项卡和选项卡的切换
import time from selenium import webdriver browser=webdriver.Chrome() browser.get('https://www.baidu.com') browser.execute_script('window.open()') # window.open就是新建一个选项卡，调用的就是windows print(browser.window_handles) #获取所有的选项卡 browser.switch_to_window(browser.window_handles[1]) browser.get('https://www.taobao.com') time.sleep(10) browser.switch_to_window(browser.window_handles[0]) browser.get('https://www.sina.com.cn') browser.close()
