Selenium处理动态HTML

　　　　当一些网站使用了动态加载我们该如何搞定呢？

　　　　有两种方法：其一，直接在JavaScript里面采集内容，但是操作起来十分麻烦；其二，使用python的第三方库来运行JavaScript，直接采集你在浏览器里面看到的内容。

 

　　　　这时候就用到了python的一个自动化测试工具Selenium，它可以根据我们的指令，让浏览器自动加载页面，获取所需要的数据。我们直接用命令行就可以安装selenium了：pip install selenium 。但是有一个问题，selenium自己本身是不具备浏览器功能的，需要配合第三方浏览器使用，如PhantomJS。但是，selenium开始渐渐不支持这个内置的无界面浏览器了，我们可以使用chrome来替代，但是需要安装Chromedriver，并添加环境变量。

　　　　

 

 

　　　　因为我安装的Chromedriver版本太低，所以会出现报错。但是可以看到，成功的打开了谷歌浏览器，并且显示Chrome正在受到自动测试软件的控制。

 

　　　

 

　　　　模拟一个动态网页的加载。

 

#这里是导入python的测试模块
import unittest
from selenium import webdriver
from bs4 import BeautifulSoup


#定义一个类，并且继承测试模块
class douyuSelenium(unittest.TestCase):
    def setUp(self):
        self.driver=webdriver.PhantomJS()

        #self.driver=webdriver.Chrome()
    #具体的测试方法，要以test开头
    def testDouyu(self):
        self.driver.get("https://www.douyu.com/directory/all")
        while True:
            soup=BeautifulSoup(self.driver.page_source,"lxml")
            titles=soup.find_all('h3',{'class':'ellipsis'})
            nums=soup.find_all('span',{'class':'dy-num fr'})

            for title,num in zip(titles,nums):
                print(u'观众人数' + num.get_text().strip(),u'\t房间标题：' + title.get_text().strip())
            #判断是否到了最后一页
            if self.driver.page_source.find('shark-pager-disable-next') !=-1:
                break
           #模拟点击
            self.driver.find_element_by_class_name('shark-pager-next').click()

    def tearTest(self):
        print(u'加载完成。。。')
        self.driver.quit()


if __name__=="__main__":
    unittest.main()

　　　　

　　　　

 

　　　　可以看到爬取了房间人数以及标题。