动态渲染页面抓取

一、selenium的使用：

　　1、简介：

　　　　是一个自动化的工具，可以利用它驱动浏览器执行特定的动作。

　　2、基本使用：

　　　　

from selenium import webdriver

from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as ec
from selenium.webdriver.support.wait import WebDriverWait

#完成浏览器对象的初始化并赋值为browser对象
browser=webdriver.Chrome()
# browser=webdriver.Edge()
try:
    #访问百度网址，然后获得源代码
    browser.get('https://www.baidu.com')
    #根据id来获取节点
    input=browser.find_element_by_id('kw')
    input.send_keys('python')
    input.send_keys(Keys.ENTER)
    wait=WebDriverWait(browser,10)
    wait.until(ec.presence_of_all_elements_located((By.ID,'content_left')))
    print(browser.current_url)
    print(browser.get_cookies())
    print(browser.page_source)
finally:
    browser.close()

 

　　3、获取节点：

　　　　（1）获取节点的方法：

　　　　　　　　　　　find_element_by_id

　　　　　　　　　　　　　find_element_by_name
　　　　　　　　find_element_by_xpath
　　　　　　　　find_element_by_link_text
　　　　　　　　find_element_by_partial_link_text
　　　　　　　　find_element_by_tag_name
　　　　　　　　find_element_by_class_name
　　　　　　　　find_element_by_css_selector

 

　　　　（2）获得所有节点：

　　　　　　　　find_elements_

　　　4、节点交互：

　　　　　输入文字：send_keys()

　　　　　清空文字：clear() 

　　　　　按钮点击：click()

　　　5、执行js代码：

　　　　

from selenium import webdriver

driver=webdriver.Chrome()

driver.get('https://www.zhihu.com/explore')
driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
driver.execute_script('alert("To Bottom")')
driver.close()

 

　　　　6、获取节点信息：

　　　　（1）首先要先选中节点。

　　　　（2）操作：

　　　　

'''
    func:执行cs代码
'''

from selenium import webdriver

browser=webdriver.Chrome()
#
# driver.get('https://www.zhihu.com/explore')
# driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
# driver.execute_script('alert("To Bottom")')
# driver.close()
url = 'https://www.zhihu.com/explore'
browser.get(url)

#选中想要的节点
# node=browser.find_element_by_id('zh-top-link-logo')
# print(node,node.get_attribute('class'))
#获取文本值
n1=browser.find_element_by_class_name('zu-top-add-question')
print(n1.text)

browser.close()

　　　　　　（3）获取id:  .id

　　　　　　　　获取页面的相对位置： .location

　　　　　　获取标签名： .tag_name

　　　　　　获取节点大小： .size

　　　7、切换frame：

　　　　　　browser.switch_to.frame('framename')

　　　　　　返回到父frame:

　　　　　　browser.switch_to.parent_frame()

　　　8、延时等待：

　　　　　　（1）隐式等待：

　　　　　　　　忽略

　　　　　　（2）显示等待：

　　　　　　　　

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as ec

browser = webdriver.Chrome()
# browser.implicitly_wait(10)
# browser.get('https://www.zhihu.com/explore')
# input = browser.find_element_by_class_name('zu-top-add-question')
# print(input)
browser.get('https://www.taobao.com/')
wait=WebDriverWait(browser,10)
input=wait.until(ec.presence_of_element_located((By.ID,'q')))
button=wait.until(ec.element_to_be_clickable((By.CSS_SELECTOR,'.btn-search')))
print(input,button)
browser.close()

 

　　　　　9、等待条件：

　　　　　　

11、前进和后退：

　　.back()方法  后退

　　.forward() 前进

12、cookies：

　　

'''
    func:cookie操作
'''
from selenium import webdriver

browser=webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
#获取cookie信息
print(browser.get_cookies())
#添加cookie信息
browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'})

print(browser.get_cookies())
#删除所有的cookie
browser.delete_all_cookies()
print(browser.get_cookies())
browser.close()

 

13、选项卡管理：

　　

'''
    func:选项卡管理
'''
import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.execute_script('window.open()')
print(browser.window_handles)
#切换选项卡
browser.switch_to_window(browser.window_handles[1])
browser.get('https://www.taobao.com')
time.sleep(1)
browser.switch_to_window(browser.window_handles[0])
browser.get('https://python.org')
browser.close()

14、异常处理：