使用lxml解析HTML网页并批量获取数据
当我们需要从网页中获取一些需要的数据时，我们可以使用一些html网页分析的函数库来快速的获取数据。目前有多款解析HTML网页的第三方库可供使用，例如lxml，beautiful soup等等。下面以lxml为例从网页中爬取我们需要的统计数据
我希望从北京公交网站获取北京公交的所有线路信息，从而为后续处理做准备
首先引用requests用于向网页发出访问请求，获取html网页原始数据
import requests
再引用lxml中的etree类
import lxml.etree
首先输入我们起始的爬取地址，公交线路网页的索引页，以此为起点，获取所有的线路对应的url的值
lxml.etree将html网页按照标签进行一层一层的划分，形成逐渐向下生长的树结构，我们通过查看网页的源代码找到我们想要的数据在哪个标签内，使用xpath函数提取对应标签内的数据
def get_all_line(): url = 'http://beijing.gongjiao.com/lines_all.html' text = requests.get(url).text doc = lxml.etree.HTML(text) all_lines = doc.xpath("//div[@class='list']/ul/li") f=open("./data/"+'allline.txt','a') print(len(all_lines)) for line in all_lines: line_name = line.xpath("./a/text()")[0].strip() line_url = line.xpath("./a/@href")[0] f.write(line_name+'$$'+line_url+'\n') f.close()
这样我们获得了所有线路对应的url，在此基础上再依次爬取每一个线路网页的相关数据
在爬取线路数据之前，我们需要先建立字典用于保存不同字段的数据，便于管理。根据需要，我建立了一个13个字段的字典
df_dict = { 'line_name': [], 'line_url': [], 'line_start': [], 'line_stop': [], 'line_op_time': [], 'line_interval': [], 'line_price': [], 'line_company': [], 'line_up_times': [], 'line_station_up': [], 'line_station_up_len': [], 'line_station_down': [], 'line_station_down_len': [] }
从我们刚刚生成的url数据文件中读取所有的url，以下是对于读取线路数据的函数实现
def getbuslin(line): line_name = line[:line.find('$$')] line_url = line[line.find('$$')+2:] #print(line_url) url = line_url text = requests.get(url).text #print(len(text)) doc = lxml.etree.HTML(text) infos = doc.xpath("//div[@class='gj01_line_header clearfix']") for info in infos: #f=open("./data/"+line_name+'.txt','a') start_stop = info.xpath("./dl/dt/a/text()") #f.write('start-stop'+start_stop+'\n') op_times = info.xpath("./dl/dd[1]/b/text()") #f.write('open time:'+op_times+'\n') interval = info.xpath("./dl/dd[2]/text()") #f.write('interval:'+interval+'\n') price = info.xpath("./dl/dd[3]/text()") #f.write('price:'+price+'\n') company = info.xpath("./dl/dd[4]/text()") #f.write('company:'+company+'\n') up_times = info.xpath("./dl/dd[5]/text()") all_stations_up = doc.xpath('//ul[@class="gj01_line_img JS-up clearfix"]') for station in all_stations_up: station_up_name = station.xpath('./li/a/text()') df_dict['line_station_up'].append(station_up_name) df_dict['line_station_up_len'].append(len(station_up_name)) #f.write(station_name+'\n') all_stations_down = doc.xpath('//ul[@class="gj01_line_img JS-down clearfix"]') if len(all_stations_down)== 0: #print(line_name) df_dict['line_station_down'].append('') df_dict['line_station_down_len'].append(0) for station in all_stations_down: station_down_name=station.xpath('./li/a/text()') df_dict['line_station_down'].append(station_down_name) df_dict['line_station_down_len'].append(len(station_down_name)) #f.write(station_name+'\n') #f.close() df_dict['line_name'].append(line_name) df_dict['line_url'].append(line_url) df_dict['line_start'].append(start_stop[0]) df_dict['line_stop'].append(start_stop[1]) if len(op_times)==0: op_times.append(defaultoptime) df_dict['line_op_time'].append(op_times[0]) df_dict['line_interval'].append(interval[0][5:]) df_dict['line_company'].append(company[0][5:]) df_dict['line_price'].append(price[0][5:]) df_dict['line_up_times'].append(up_times[0][5:])
字典的实质依然是列表，因此对字典的操作方法可以参考列表
我从网页中提取了公交线路的线路名称，起始站，终点站，运营时间，发车间隔，票价，起始终点站，上下行所有站点
将数据全部存入建立的字典之后，保存为csv文件，这里需要用到pandas库
import pandas as pd df = pd.DataFrame(df_dict) df.to_csv(name+'.csv', encoding='utf-8', index=None)
这时，我们已经把网页数据经过解析保存到了本地，以便后续的处理
由于公交车的线路数据相对静态，因此不需要进行实时更新，数据量也相对较小，但是整个程序运行下来依然需要好几分钟
这里我还没有采用多进程处理，后续可以通过多进程优化来充分利用计算机的性能缩短所需的时间
