使用浏览器模拟器获取动态网站数据

抓取静态网站的数据，只是根据需要组合出合适的url列表，之后编写方法spider获取指定url上的数据就可以了。但如果网站是动态的，例如在这个站点“http://www.zgyyjgw.com/front/cn/hospitalPrice”，从源代码中我们可以看出，该站点使用的是javascript与css。我们查询“胰高血糖素试验”的价格，首先需要在“省份”中填入对应的省份，在项目名称中填入“胰高血糖素试验”，点击右侧的查找，会在下侧显示查询到的信息。

 

可以注意到，整个过程，浏览器地址栏中一直都是“http://www.zgyyjgw.com/front/cn/hospitalPrice”没有发生改变，所以像静态页面那样通过修改url的方法来获取对应的信息在这里根本就行不通了。

虽然python中的urllib模块中有相应的函数来处理这类动态页面，但过于麻烦，这里我们选用一个简便的方法，使用浏览器模拟器。

在网上下载无界面浏览器PhantomJS，利用pip下载模块selenium（这里推荐版本2.53.6，而不是最新版本，最新版本的selenium不支持PhantomJS），建立main.py，编写涉及和使用到的类与方法，代码如下：

from selenium import webdriver
from selenium.webdriver.support.select import Select
from myLog import MyLog
import time
import xlwt

class Item(object):
    shengfen = None         #省份
    xiangmubianhao = None   #项目编号
    xiangmumingcheng = None #项目名称
    xiangmuneihan = None    #项目内涵
    chuwaineirong = None    #除外内容
    danwei = None           #单位
    jiage = None            #价格
    shuoming = None         #说明
    wenhao = None           #文号
    zhixingriqi = None      #执行日期

class Get_medicalprice(object):
    def __init__(self):
        self.hospitalPriceurl = 'http://www.zgyyjgw.com/front/cn/hospitalPrice'
        self.log = MyLog()
        self.filename = u'医疗服务价格.xls'.encode('GBK')
        self.namelist = self.getname('name.txt')
        self.hospitallist = self.gethospitalprice(self.hospitalPriceurl,self.namelist)
        self.savefiletoxls(self.filename,self.hospitallist)
    
    def getname(self,filename): 
        namelist = []
        with open(filename,'r') as fp:
            s = fp.read()
            for name in s.split():
                namelist.append(name)
        self.log.info('open namelist success , the length of list is %d' % len(namelist))
        return namelist
    
    def gethospitalprice(self,url,namelist):
        list_hospitalprice = []
        return list_hospitalprice
                
    def savefiletoxls(self,filename,hospitallist):
        self.log.info('save data to excel')
        book = xlwt.Workbook(encoding = 'utf8',style_compression=0)
        sheet = book.add_sheet(u'医疗服务项目收费')
        sheet.write(0,0,u'省份'.encode('utf8'))
        sheet.write(0,1,u'项目编号'.encode('utf8'))
        sheet.write(0,2,u'项目名称'.encode('utf8'))
        sheet.write(0,3,u'项目内涵'.encode('utf8'))
        sheet.write(0,4,u'除外内容'.encode('utf8'))
        sheet.write(0,5,u'单位'.encode('utf8'))
        sheet.write(0,6,u'价格'.encode('utf8'))
        sheet.write(0,7,u'说明'.encode('utf8'))
        sheet.write(0,8,u'文号'.encode('utf8'))
        sheet.write(0,9,u'执行日期'.encode('utf8'))
        for i in range(1,len(hospitallist)+1):
            item = hospitallist[i-1]
            sheet.write(i,0,item.shengfen)
            sheet.write(i,1,item.xiangmubianhao)
            sheet.write(i,2,item.xiangmumingcheng)
            sheet.write(i,3,item.xiangmuneihan)
            sheet.write(i,4,item.chuwaineirong)
            sheet.write(i,5,item.danwei)
            sheet.write(i,6,item.jiage)
            sheet.write(i,7,item.shuoming)
            sheet.write(i,8,item.wenhao)
            sheet.write(i,9,item.zhixingriqi)
        book.save(filename)
        self.log.info('save excel success')
        
    
if __name__ == '__main__':
    Get_medicalprice()

其中，类Item定义了我们需要从网页获取到的所有信息；类Get_medicalprice为爬虫主程序；方法__init__定义了整个爬虫的工作流程；方法getname从“name.txt”中获取需要查找的医疗服务项目名称，返回名称列表；方法gethospitalprice为爬虫的关键，负责根据getname返回的名称列表在页面中查找对应的信息并保存；方法savefiletoxls负责将gethospitalprice获取到的所有信息保存到电子表中。

我们现在开始来补充方法gethospitalprice中的代码。

使用selenium模拟调用浏览器PhantomJS，首先用“#”注释掉__init__中的“self.savefiletoxls(self.filename,self.hospitallist)”，出于测试目的，这里只让浏览器截图查看模拟效果而不进一步抓取数据。在gethospitalprice中增加代码如下：

def gethospitalprice(self,url,namelist):
    browser = webdriver.PhantomJS()
    list_hospitalprice = []
    browser.get(url)
    #browser.implicitly_wait(10)
    for name in namelist:
        textelement = browser.find_element_by_id('projectname')
        textelement.clear()                 #清除text中已输入的项目
        try:
            textelement.send_keys(name.decode('GBK'))  #text中填入项目名称
        except:
            self.log.error('get data %s error ' % name)
            continue
        else:
            self.log.info('get data %s \n' % name.decode('GBK'))
        selectelement = browser.find_element_by_id('provName')
        Select(selectelement).select_by_value(u'河南省')  #使用select控件选择河南省
        submitelement = browser.find_element_by_class_name('l-btn-left')  
        submitelement.click() #点击查询按钮
        time.sleep(10)
        browser.get_screenshot_as_file('%s.png' % name) #进行查询后让浏览器截图，以查看程序是否运行正常

在这里，模块selenium本身自带的implicitly_wait效果比time里的sleep要好，所以平时尽量优先使用implicitly_wait，而这里依旧使用time.sleep是为防止被服务器拦截而强制让程序降速。根据页面源代码，找到相应控件的id，如这里的“projectname”、“provName”，利用find_element_by_id来定位。其中用于选择省份的控件是个select，需要用到selenium.webdriver.support.select中的Select。通过send_keys来向“provName”的文本框控件中发送项目名称时，特别需要注意的是汉字编码，因为name.txt是在windows下创建的，编码用的是"GBK''，所以这里需要先用decode("GBK")把项目名称进行反编码。

但有个问题是“查找”按钮不好定位，没有明显的id和class。右键点击“查找”按钮，选择“审查元素”，这里可以看到该控件的class为“l-btn-left”（虽然那个“清空”按钮的class也是“l-btn-left”，但并没太大的影响，“查找”比“清空”位置靠前，find_element_by_class_name返回的是检索到的第一个符合条件的控件），利用find_element_by_class_name('l-btn-left')来定位。

在最后增加一条语句 browser.get_screenshot_as_file('%s.png' % name) 来让浏览器自动截图并保存成“项目名称.png”的图片，以便方便查看确定程序是否在正常运行。

点击run运行程序，在目录下随便打开一张png图片，如下图：

 

爬虫程序已经成功选择了设定的“省份”，填入了读取到的项目名称，并成功点击了“查找”按钮，而且成功地获取到了我们需要的信息。

好了，下面我们就开始和以前一样抓取页面上的信息。

 

查看页面源代码，可以看到存放数据的位置在标签tbody下，但tbody不唯一，而上层的标签table，class值为“xxbTable”，通过搜索后发现是唯一的。所以这里我们先定位class值为“xxbTable”的标签table，随后再依次定位tbody，tr，td。

resultelement = browser.find_element_by_class_name('xxbTable')
#print resultelement.text
elements=resultelement.find_elements_by_xpath('./tbody[2]/tr/td')
item = Item()
if len(elements)==0:
    self.log.info('%s has no data' % name.decode('GBK'))
else:
    self.log.info('save data %s to list' % name.decode('GBK'))
    item.shengfen = elements[1].text
    item.xiangmubianhao = elements[2].text
    item.xiangmumingcheng = elements[3].text
    item.xiangmuneihan = elements[4].text
    item.chuwaineirong = elements[5].text
    item.danwei = elements[6].text
    item.jiage = elements[7].text
    item.shuoming = elements[8].text
    item.wenhao = elements[9].text
    item.zhixingriqi = elements[10].text
    list_hospitalprice.append(item)

tbody不是唯一的，所以在确定需求的是哪一部分的时候，可以先用定位到tbody处，使用for循环打印下此处的文本，代码如下：

resultelement = browser.find_element_by_class_name('xxbTable')
#print resultelement.text
elements=resultelement.find_elements_by_xpath('./tbody')
for i in elements:
    print i.text

运行结果如下：

 

tbody[0]为空，tbody[1]是列名，tbody[2]才是我们需要的数据。

最终运行后，生成的结果被方法savefiletoxls保存到电子表'医疗服务价格.xls'中

 

 以下为“main.py”文件的完整代码：

from selenium import webdriver
from selenium.webdriver.support.select import Select
from myLog import MyLog
import time
import xlwt

class Item(object):
    shengfen = None
    xiangmubianhao = None
    xiangmumingcheng = None
    xiangmuneihan = None
    chuwaineirong = None
    danwei = None
    jiage = None
    shuoming = None
    wenhao = None
    zhixingriqi = None

class Get_medicalprice(object):
    def __init__(self):
        self.hospitalPriceurl = 'http://www.zgyyjgw.com/front/cn/hospitalPrice'
        self.log = MyLog()
        self.filename = u'医疗服务价格.xls'.encode('GBK')
        self.namelist = self.getname('name.txt')
        self.hospitallist = self.gethospitalprice(self.hospitalPriceurl,self.namelist)
        self.savefiletoxls(self.filename,self.hospitallist)
    
    def getname(self,filename): 
        namelist = []
        with open(filename,'r') as fp:
            s = fp.read()
            for name in s.split():
                namelist.append(name)
        self.log.info('open namelist success , the length of list is %d' % len(namelist))
        return namelist
    
    def gethospitalprice(self,url,namelist):
        browser = webdriver.PhantomJS()
        list_hospitalprice = []
        n = 1
        self.log.info('open the link %s' % url)
        browser.get(url)
        #browser.implicitly_wait(10)
        for name in namelist:
            textelement = browser.find_element_by_id('projectname')
            textelement.clear()
            try:
                textelement.send_keys(name.decode('GBK'))  #text中填入项目名称
            except:
                self.log.error('get data %s error  (%d)' % (name,n))
                n += 1
                continue
            else:
                self.log.info('get data %s (%d)\n' % (name.decode('GBK'),n))
                n += 1
            selectelement = browser.find_element_by_id('provName')
            Select(selectelement).select_by_value(u'河南省')  #省份select控件选择河南省
            submitelement = browser.find_element_by_class_name('l-btn-left')
            submitelement.click() #点击查询按钮
            time.sleep(10)
            #print browser.page_source
            #browser.get_screenshot_as_file('test.png')
            resultelement = browser.find_element_by_class_name('xxbTable')
            #print resultelement.text
            elements=resultelement.find_elements_by_xpath('./tbody[2]/tr/td')
            item = Item()
            if len(elements)==0:
                self.log.info('%s has no data' % name.decode('GBK'))
            else:
                self.log.info('save data %s to list' % name.decode('GBK'))
                item.shengfen = elements[1].text
                item.xiangmubianhao = elements[2].text
                item.xiangmumingcheng = elements[3].text
                item.xiangmuneihan = elements[4].text
                item.chuwaineirong = elements[5].text
                item.danwei = elements[6].text
                item.jiage = elements[7].text
                item.shuoming = elements[8].text
                item.wenhao = elements[9].text
                item.zhixingriqi = elements[10].text
                list_hospitalprice.append(item)
        return list_hospitalprice
                
    def savefiletoxls(self,filename,hospitallist):
        self.log.info('save data to excel')
        book = xlwt.Workbook(encoding = 'utf8',style_compression=0)
        sheet = book.add_sheet(u'医疗服务项目收费')
        sheet.write(0,0,u'省份'.encode('utf8'))
        sheet.write(0,1,u'项目编号'.encode('utf8'))
        sheet.write(0,2,u'项目名称'.encode('utf8'))
        sheet.write(0,3,u'项目内涵'.encode('utf8'))
        sheet.write(0,4,u'除外内容'.encode('utf8'))
        sheet.write(0,5,u'单位'.encode('utf8'))
        sheet.write(0,6,u'价格'.encode('utf8'))
        sheet.write(0,7,u'说明'.encode('utf8'))
        sheet.write(0,8,u'文号'.encode('utf8'))
        sheet.write(0,9,u'执行日期'.encode('utf8'))
        for i in range(1,len(hospitallist)+1):
            item = hospitallist[i-1]
            sheet.write(i,0,item.shengfen)
            sheet.write(i,1,item.xiangmubianhao)
            sheet.write(i,2,item.xiangmumingcheng)
            sheet.write(i,3,item.xiangmuneihan)
            sheet.write(i,4,item.chuwaineirong)
            sheet.write(i,5,item.danwei)
            sheet.write(i,6,item.jiage)
            sheet.write(i,7,item.shuoming)
            sheet.write(i,8,item.wenhao)
            sheet.write(i,9,item.zhixingriqi)
        book.save(filename)
        self.log.info('save excel success')
        
    
if __name__ == '__main__':
    Get_medicalprice()