Python3应用Selenium学习：读取网页表格

之前曾经写过一篇关于C#版本的读取网页表格的博客：C#应用Selenium学习：读取网页表格

本文用Python3重新实现一遍，另外增加了对表格头和表格列的处理。

获取表格元素：

表格的结构一般以table标签开始，此函数是获取table元素的，一个网页中可能不止一个表格，此处返回表格元素的列表。

def GetTableElements():
    '''获得table标签元素列表，方便选择合适的表格'''
    driver = GetDriver()
    # 参考：selenium 根据 tag名 选择元素  https://blog.csdn.net/weixin_41665637/article/details/111315408
    elements = driver.find_elements_by_tag_name('table')
    return elements

获取表格头的列信息：返回值形如 ['列1的名字', '列2的名字']

def _GetHeadList(table):
    '''
    功能：返回表格列的名称列表
    参数：table：对应的表格元素
    '''
    thead = table.find_element_by_tag_name('thead')
    tr = thead.find_element_by_tag_name('tr')
    ths = tr.find_elements_by_tag_name('th')
    res = []
    for th in ths:
        res.append(th.text)
    return res

读取一行里面的信息：其中heads就是从表头中获取的每一列的名字列表。

def _GetOneRow(tr,heads):
    '''
    功能：取得一行的信息
    tr：当前行的tr元素
    heads：是一个字符串列表，表示每一列的名称
    返回值：返回一个字典，形如：{'Row1': value1, 'Row2':value2}
    '''
    res = {}
    tds = tr.find_elements_by_tag_name('td')
    for i,td in enumerate(tds):
        res[heads[i]] = td
    return res

获取表格每一个单元格对象：

def GetTable(table):
    '''
    功能：返回表格信息
    参数：table：对应的表格元素
    '''
    res = []
    
    # 获得表格头
    heads = _GetHeadList(table)
    
    tbody = table.find_element_by_tag_name('tbody')
    trs = tbody.find_elements_by_tag_name('tr')
    for tr in trs:
        row = _GetOneRow(tr,heads)
        res.append(row)
    return res

也可以把单元格对象转换成文本：

def GetTableText(table):
    '''与GetTable函数相比，此函数把元素对象转换成文本'''
    res = []
    table = GetTable(table)
    for row in table:
        tmpRow = {}
        for key in row.keys():
            tmpRow[key]=row[key].text
        res.append(tmpRow)
    return res