python解析本地html方法

Python爬虫每次运行时都会访问一次主机，为了避免增加主机访问负荷，一般都是在本地解析。Python解析本地html文件方法如下：

1.将html文件本地保存

2.在Python中打开html文件，可使用BeautifulSoup方法直接打开

soup=BeautifulSoup(open('ss.html',encoding='utf-8'),features='html.parser')
3.获取本地文件资料

a.先爬取主页的列表资料，其中同义内容使用“@”符号连接，首先在for循环内给定一个值获取标签内的链接link=x.get('href')，接着使用sub方法指定删除link。代码如下：
link=x.get('href')
change2=re.sub(link,'',s)

在for循环中指定多余内容删除

link=x.get('href')
s=str(x)
change1=re.sub('<a href="','',s)
change2=re.sub(link,'',change1)
change3=re.sub('">','',change2)
change4=re.sub(' Baby Names','',change3)
change5=re.sub('</a>','',change4)
change=re.sub(' ','',change5)

b.通过def draw_base_list(doc)函数向二级详情函数传递Link参数爬取详细信息，为避免频繁访问主机，我们同样将详情页的源代码保存至本地并解析

def draw_detail_list():
str1=‘’
meta="boy"
doc=BeautifulSoup(open('nn.html',encoding='utf-8'),features='html.parser')
Des=doc.find('div',{'class':'single-babyname-wrapper'}).findAll('p')
Gen=doc.find('div',{'class':'entry-meta'}).find('a')
#print(Gen)
g=str(Gen)
for i in Gen:
if meta in g:
Gender="boy"
else:
Gender="girl"
#print(Gender)
for x in Des:
#print(x)
if x.find('a')==None: #该标签下有我们不需要的信息，查看源代码找到信息之间的联系，发现不需要的信息中都有链接
c=str(x)
change1=re.sub('<p>','',c) #与一级信息函数一样删除指定内容
change2=re.sub('</p>','',change1)
change3=re.sub('\t','',change2)
change=re.sub('\n','@',change3)
str1=str1+change
#Description=x.text
#print(Description)
Description=str1
#print(Description)
data={ #将数据存进字典中方便将数据保存至csv文件或数据库中
'EnName':EnName,
'CnName':'',
'Gender':Gender,
'Meaning':Meaning,
'Description':Description,
'Source':Source,
'Character':'', #网页中没有的信息数据列为空
'Celebrity':'',
'WishTag':''
}
#print(data)

c.将爬取下来的数据存入csv文件中

def draw_base_list(doc):
......
#爬取一级参数
for x in lilist:
......
for x in Sou:
......
......
draw_detail_list(Link,EnName,Meaning,Source) #将数据传给二级信息函数

def draw_detail_list(url,EnName,Meaning,Source):
......
for i in Gen:
......

for x in Des:
......

data={
......
}
write_dictionary_to_csv(data,'Names') #将字典传给存放数据函数，并给定csv文件名

def write_dictionary_to_csv(dict,filename):
file_name='{}.csv'.format(filename)
with open(file_name, 'a',encoding='utf-8') as f:
file_exists = os.path.isfile(filename)
w =csv.DictWriter(f, dict.keys(),delimiter=',', quotechar='"', lineterminator='\n',quoting=csv.QUOTE_ALL, skipinitialspace=True)
w.writerow(dict)

参考资料：http://www.itmacom.com/jc/33426.html