selenium
selenium
概念：基于浏览器自动化的一个模块.
selenium和爬虫之间的关联是什么?
便捷的获取页面中动态加载的数据
- requests模块进行数据爬取:可见非可得
- selenium:可见即可得
主要用于爬取动态加载的数据，直接用selenium就可以获取
注意点：selenium完全对浏览器进行操作，因此速度非常慢，可以会由于数据没有加载出来而获取失败
selenium的基本操作
1.实例化浏览器对象：bro = webdriver.Chrome(executable_path)
需要参数：要访问浏览器的浏览器驱动程序路径。
谷歌浏览器驱动程序下载地址:http://chromedriver.storage.googleapis.com/index.html
程序和谷歌版本的映射关系表:https://blog.csdn.net/huilan_same/article/details/51896672
2.要访问的url，并发送请求
3.定位标签，find系列的函数用作于标签定位，
与指定标签进行数据交互，获取内容或者赋值给标签
4.可以添加事件
btn = bro.find_element_by_xpath('//*[@id="search"]/div/div[2]/button')
btn.click()
5.也可以执行js操作
jsCode = 'window.scrollTo(0,document.body.scrollHeight)'
bro.execute_script(jsCode)
selenium基本操作示例
from selenium import webdriver
from time import sleep
#实例化一个浏览器对象
bro = webdriver.Chrome(executable_path=r'C:\Users\oldboy-python\Desktop\爬虫+数据\day04\chromedriver.exe')
url = 'https://www.jd.com/'
bro.get(url) #用户发起请求
#定位标签
search_input = bro.find_element_by_id('key')
#对指定标签进行数据交互
search_input.send_keys('macPro')
btn = bro.find_element_by_xpath('//*[@id="search"]/div/div[2]/button')
btn.click()
sleep(2)
#执行js代码
jsCode = 'window.scrollTo(0,document.body.scrollHeight)'
bro.execute_script(jsCode)
sleep(3)
bro.quit()
selenium爬取动态加载数据示例
from selenium import webdriver
from lxml import etree
from time import sleep
#实例化一个浏览器对象
page_text_list = []
bro = webdriver.Chrome(executable_path=r'C:\Users\oldboy-python\Desktop\爬虫+数据\day04\chromedriver.exe')
url = 'http://125.35.6.84:81/xk/'
bro.get(url)
sleep(2)
#page_source返回的就是当前浏览器打卡页面对应的页面源码数据
page_text = bro.page_source
page_text_list.append(page_text)
for i in range(2):
bro.find_element_by_id('pageIto_next').click()
sleep(2)
page_text = bro.page_source
page_text_list.append(page_text)
for page_text in page_text_list:
tree = etree.HTML(page_text)
li_list = tree.xpath('//*[@id="gzlist"]/li')
for li in li_list:
name = li.xpath('./dl/@title')[0]
print(name)
sleep(3)
bro.quit()
动作链
一系列的行为动作，比如点击长按拖动事件不间隔执行
1.实例化出一个动作链对象，需要将浏览器对象加载进去
from selenium.webdriver import ActionChains
action = ActionChains(bro)
2.给动作链对象添加事件
action.click_and_hold(div_tag)
3.让动作链立即执行
action.move_by_offset(17,0).perform()
4.释放动作链对象
action.release()
动作链操作示例
from lxml import etree
from time import sleep
from selenium import webdriver
from selenium.webdriver import ActionChains
#实例化一个浏览器对象
page_text_list = []
bro = webdriver.Chrome(executable_path=r'C:\Users\oldboy-python\Desktop\爬虫+数据\day04\chromedriver.exe')
url = 'https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
bro.get(url)
#如果定位的标签是存在于iframe对应的子页面中的话,在进行标签定位前一定要执行一个switch_to的操作
bro.switch_to.frame('iframeResult')
div_tag = bro.find_element_by_id('draggable')
#1.实例化动作链对象
action = ActionChains(bro)
action.click_and_hold(div_tag)
for i in range(5):
#让动作链立即执行
action.move_by_offset(17,0).perform()
sleep(0.5)
action.release()
sleep(3)
bro.quit()
无头浏览器
无可视化界面的浏览器，浏览器程序执行了，但是我们看不到，后台执行
1.创建一个参数对象，用来控制chrome以无界面模式打开
from selenium.webdriver.chrome.options import Options
# 创建一个参数对象，用来控制chrome以无界面模式打开
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
2.将参数传入浏览器对象中
bro =webdriver.Chrome(executable_path=r'',chrome_options=chrome_options)
无头浏览器示例
from selenium.webdriver.chrome.options import Options
from time import sleep
from selenium import webdriver
# 创建一个参数对象，用来控制chrome以无界面模式打开
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
#实例化一个浏览器对象
bro = webdriver.Chrome(executable_path=r'C:\Users\oldboy-python\Desktop\爬虫+数据\day04\chromedriver.exe',chrome_options=chrome_options)
bro.get('https://www.baidu.com')
sleep(2)
bro.save_screenshot('1.png')
print(bro.page_source)
sleep(2)
bro.quit()
反爬机制-检测selenium操作
1.创建参数对象，用于规避风险
from selenium.webdriver import ChromeOptions
option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])
2.传递参数到浏览器对象中
bro = webdriver.Chrome(executable_path=r'',options=option)
selenium规避风险
from time import sleep
from selenium import webdriver
from selenium.webdriver import ChromeOptions
option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])
#实例化一个浏览器对象
bro = webdriver.Chrome(executable_path=r'C:\Users\oldboy-python\Desktop\爬虫+数据\day04\chromedriver.exe',options=option)
bro.get('https://www.taobao.com/')
