BeautifulSoup使用注意事项
BeautifulSoup使用注意事项
BeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.
一个爬取中国天气网数据的简单示例如下:
(http://www.weather.com.cn/weather/101010100.shtml网页中的数据使用BeautifulSoup解析)
import requests from bs4 import BeautifulSoup resp = requests.get('http://www.weather.com.cn/weather/101010100.shtml') resp.encoding = 'utf-8' beautifulsoup = BeautifulSoup(resp.text, 'html.parser')
此时,beautifulsoup数据类型为bs4.BeautifulSoup
available_weather = beautifulsoup.find("div", {'id': '7d'}).find('ul').find_all('li')
此时,available_weather数据类型为bs4.element.ResultSet
for item in available_weather: date = item.find('h1').string
此时,date数据类型为 bs4.element.NavigableString
总之,获得的数据类型不是string
需要作为字符串使用时,可使用以下方式转换:
date = ''.join(date)
posted on 2018-04-21 10:30 zacharyVic 阅读(361) 评论(0) 编辑 收藏 举报