【Python3 爬虫】U14_爬取中国天气网
1.网页分析
庚子年初,各种大事件不期而至,又赶上最近气温突变,所以写个爬虫来爬取下中国天气网,并通过图表反映气温最低的前20个城市。
中国天气网:http://www.weather.com.cn/textFC/hb.shtml
打开后如下图:
从图中可以看到所有城市按照地区划分了,并且每个城市都有最低气温和最高气温,通过chrome查看Elements
,如下:
从上图可以看到展示当天的数据,那么<div class='conMidtab'>..
这个标签则没有style="display:none;"
属性。
那么,具体的每一行数据又存在哪里呢?
从上图可以看出,数据存储在<table>
标签下的<tr>
标签中,通过下图可以看到,tr
标签下的td
标签就可以找到每个城市的最低气温了`。
2.代码实现
实现以下代码需要安装的库:
pip install requests
pip install bs4
pip install html5lib
pip install pyecharts
官方文档(pyecharts1.7.x)https://gallery.pyecharts.org/#/README
具体代码如下:
# Author:Logan
# Date:2020/3/31 16:28
# IDE:PyCharm
import requests
from bs4 import BeautifulSoup
from pyecharts.charts import Line,Bar
import pyecharts.options as opts
DATA_TEMP = []
HEADERS = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}
def parse_page(url):
response = requests.get(url, headers=HEADERS)
html_str = response.content.decode('utf-8')
# html5lib容错性比较高
soup = BeautifulSoup(html_str,'html5lib')
divs = soup.find('div',class_='conMidtab')
tables = divs.find_all('table')
for table in tables:
trs = table.find_all('tr')[2:]
for index,tr in enumerate(trs):
tds = tr.find_all('td')
# 城市获取
city_td = tds[0]
if index == 0:
city_td = tds[1]
city = list(city_td.stripped_strings)[0]
# 最低气温获取
temp_td = tds[-2]
min_temp = list(temp_td.stripped_strings)[0]
DATA_TEMP.append({"city":city,"min_temp":min_temp})
print({"city":city,"min_temp":min_temp})
def show_line_chart(data):
DATA_TEMP=data
DATA_TEMP.sort(key=lambda data: data['min_temp'])
show_data = DATA_TEMP[0:10] # 气温最低的前10个城市
cities = list(map(lambda x: x['city'], show_data))
min_temp = list(map(lambda x: x['min_temp'], show_data))
# 展示为折线图与柱状图
(
Bar(init_opts=opts.InitOpts(width="1000px", height="350px"))
.add_xaxis(cities)
.add_yaxis("最低气温", min_temp)
.set_global_opts(
title_opts=opts.TitleOpts(title="今日全国气温最低的前10个城市", subtitle="柱状图"),
yaxis_opts=opts.AxisOpts(name="城市"),
xaxis_opts=opts.AxisOpts(name="最低气温"),
)
.render("temperature_line_chart.html")
)
def main():
base_url = 'http://www.weather.com.cn/textFC/{}.shtml'
# 构造url
name_list = ['hb','db','hd','hz','hn','xb','xn','gat']
for name in name_list:
url = base_url.format(name)
parse_page(url)
# 分析数据
show_line_chart(DATA_TEMP)
if __name__ == '__main__':
main()
代码运行后,则生成了temperature_line_chart.html,在浏览器打开可以看到生成的柱状图如下。
作者:奔跑的金鱼
声明:书写博客不易,转载请注明出处,请支持原创,侵权将追究法律责任
个性签名:人的一切的痛苦,本质上都是对自己无能的愤怒
如果觉得这篇文章对你有小小的帮助的话,记得在右下角点个“推荐”哦,博主在此感谢!