动态网页爬虫学习笔记
Selenium+chromedriver获取动态数据:
Selenium相当于是-一个机器人。可以模拟人类在浏览器上的一些行为，自动处理浏览器上的一些行为，比如点击，填充数据，删除cookie等。chromedriver 是-个驱动Chrome浏览器的驱动程序，使用他才可以驱动浏览器。当然针对不同的浏览器有不同的driver。
以下列出了不同浏览器及其对应的driver:
1. Chrome: https:// sites google.com/a/chromium.org/chromedriver/downloads
2. Firefox: http://github.com/mozilla/geckodriver/releases
3. Edge: https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/
4. Safari: https://webkit. org/blog/6900/webdriver-support-in-safari-10/
安装Selenium和chromedriver:
1.安装Selenium : Selenium 有很多语言的版本，有java、 ruby、 python等。我们下载python版本的就可以了。
pip install selenium
2.安装chromedriver :下载完成后,放到不需要权限的纯英文目录下就可以了。
页面等待:
现在的网页越来越多采用了Ajax技术，这样程序便不能确定何时某个元素完全加载出来了。如果实际页面等待时间过长导致某个dom元素还没出来，但是你的代码直接使用了这个WebElement,那么就会抛出NullPointer的异常。为了解决这个问题。所以Selenium提供了两种等待方式:一种是隐式等待、一种是显式等待。
1.隐式等待:
调用 driver. implicitly_wait。那么在获取不可用的元素之前，会先等待10秒中的时间。
示例代码如下:
driver = webdriver.Chrome(executable_path=driver_path) driver. implicitly_wait(10) #请求网页 driver.get("https://www . douban. com/")
2.显示等待:
显示等待是表明某个条件成立后才执行获取元素的操作。也可以在等待的时候指定一个最大的时间，如果超过这个时间那么就抛出一个异常。显示等待应该使用selenium.webdriver.support.excepted_ conditions 期望的条件和selenium.webdriver.support.ui.WebDriverWait来配合完成。
示例代码如下:
from selenium import webdriver from selenium.webdriver.comon.by import By from selenium.webdriver.support.ui import WebDriverwait from selenium.webdriver.support import expected_ conditions as EC driver = webdriver.Firefox() driver.get("http://somedomain/ur1_that_delays_ loading" ) try: element=WebDriverWait(driver,10).until( EC. presence_ of_ element_ located((By.ID, "myDynamicElement")) ) finally: driver.quit()
3.一些其他的等待条件:
- presence_of_element_located:某个元素已经加载完毕了。
- presence_of_all_emement_located:网页中所有满足条件的元素都加载完毕了
- element_to_be_cliable:某个元素是可以点击了。
更多条件请参考: http://selenium-python.readthedocs.io/waits.html
切换页面:
有时候窗口中有很多子tab页面。这时候肯定是需要进行切换的。selenium 提供了一个叫做switch .to window来进行切换，具体切换到哪个页面，可以从driver.window_ handles中找到。
示例代码如下:
# 打开一个新的英面 self.driver.execute_script("window. open( ' "*+ur1+*" ' )") # 切换到这个新的页面中 se1f.driver.switch_to_window(self.driver.window_handles[1])
设置代理ip:
有时候频繁爬取一些网页。服务器发现你是爬虫后会封掉你的ip地址。这时候我们可以更改代理ip。更改代理ip,不同的浏览器有不同的实现方式。这里以Chrome 浏览器为例来讲解:
from selenium import webdriver options = webdriver.ChromeOptions() options.add_argument("--proxy-server=http://110.73.2.248:8123") driver_path = r"D:\ProgramApp\chromedriver\chromedriver.exe" driver = webdriver.Chrome(executable_ path=driver.path,chrome_options=options) driver.get('http://httpbin.org/ip*)
WebElement元素:
from selenium.webdriver.remote.webelement import WebElement 类是每个获取出来的元素的所属类。
有一些常用的属性:
1. get_attribute: 这个标签的某个属性的值。
2. screentshot: 获取当前页面的截图。这个方法只能在driver 上使用。
driver的对象类，也是继承自WebElement。
更多请阅读相关源代码。
