爬虫实战——中国天气网数据

这次的爬虫主要目的就是爬取当日中国天气网的即时气候数据。我位于苏州所以爬取的是苏州7月19号的天气。

首先，使用的是beautifulsoup和xpath解析库，因为是纯练习性质，所以分别解析了两趟，最后把数据写入txt文档中。

打开浏览器，键入http://www.weather.com.cn/weather/101190401.shtml进入中国天气网，鼠标右键保存网页。命名为1.html

现在开始操作了：

• 步骤一

import os
os.chdir("C:\\Users\\TIM")

这是转到我保存网页的地址，chdir中的地址随保存路径而定。

• 步骤二

from bs4 import BeautifulSoup
import requests
result2 = requests.get("http://www.weather.com.cn/weather/101190401.shtml")
r2 = result2.text
soup = BeautifulSoup(r2, 'lxml')
print(soup.prettify())

第二步用靓汤解析,requests库用于爬取网页html代码并保存于result变量，最后的prettify()使得代码以缩进形式呈现。缩进形式方便查看需要数据所在的位置。

• 步骤三

from lxml import etree#引入xpath库
html = etree.parse('./test.html', etree.HTMLParser())#将保存的网页进行解析
result = html.xpath('//script/text()')#解析script标签的文本信息
print(result)#打印至屏幕以确认无误

根据之前用beautifulsoup显示的网页信息发现要找的数据在script标签下。用xpath解析相应标签,从序号0开始到最后一个，例如打印序号为0的标签：

r = list(result[0].split(','))#将爬取的结果转为列表并以逗号分隔
print(r)#打印至屏幕以确认无误

• 步骤四

输入至文本文档。

import sys
class Logger(object):
    def __init__(self, fileN="Default.log"):
        self.terminal = sys.stdout
        self.log = open(fileN, "a", encoding="utf-8")

    def write(self, message):
        self.terminal.write(message)
        self.log.write(message)

    def flush(self):
        pass

定义了logger类，其功能是使得屏幕输出保存到txt文件。

• 最后这是整个代码：

import os
from lxml import etree
from bs4 import BeautifulSoup
import requests
import sys

class Logger(object):
    def __init__(self, fileN="Default.log"):
        self.terminal = sys.stdout
        self.log = open(fileN, "a", encoding="utf-8")

    def write(self, message):
        self.terminal.write(message)
        self.log.write(message)

    def flush(self):
        pass

os.chdir("C:\\Users\\TIM")
html = etree.parse('./test.html', etree.HTMLParser())
result = html.xpath('//script/text()')
r = list(result[0].split(','))
sys.stdout = Logger("D:\\11.txt")
print(r)

print('\n')

result2 = requests.get("http://www.weather.com.cn/weather/101190401.shtml")
r2 = result2.text
soup = BeautifulSoup(r2, 'lxml')
print(soup.prettify())

• 输出结果：

END