信息标记
HTML的信息标记:HTML通过预定义的<>...</>标签形式组织不同类型的信息
信息标记的三种形式:XML,JSON,YAML
XML
![](https://img2020.cnblogs.com/blog/1437100/202005/1437100-20200518162950332-1190983957.png)
JSON
subkey如下所示:
JSON实例
YMAL
YMAL: 多行文本
总结来说有以下几种
YMAL实例
三种信息标记形式的比较
XML 最早的通用信息标记语言,可扩展性好,但繁琐;Internet上的信息交互于传递
JSON 信息有类型,适合程序处理(js),较XML简洁;移动应用云端和节点的信息通信,无注释
YAML 信息无类型,文本信息比例最高,可读性好;各类系统的配置文件,有注释易读
信息提取的一般方法
方法一:完整解析信息的标记形式,再提取关键信息
需要标记解析器 例如:bs4库的标签树遍历
优点:信息解析准确
缺点:提取过程繁琐,速度慢
方法二:无视标记形式,直接搜索关键信息对信息的文本查找函数即可
优点:提取过程简洁,速度较快
缺点:提取结果准确性与信息内容相关
融合方法:结合形势解析与搜索方法,提取关键信息
需要标记解析器及文本查找函数
实例:提取HTML中所有的URL链接
思路:
1)搜索到所有<a>标签
2)解析<a>标签格式,提取href后的链接内容
import requests from bs4 import BeautifulSoup kv = {'user-agent':'Mozilla/5.0'} url = "https://python123.io/ws/demo.html" r = requests.get(url,headers = kv) # print(r.status_code) demo = r.text soup = BeautifulSoup(demo,"html.parser") for link in soup.find_all('a'): print(link.get('href'))
基于bs4库的HTML内容查找方法
<>.find_all(name, attrs, recursive, string, **kwargs)
返回一个列表类型,存储查找的结果
name:对标签名称的检索字符串 soup.find_all(['a','b'])
print(soup.find_all('a')) print(soup.find_all(['a','b']))
for tag in soup.find_all(True): print(tag.name) #输出所有标签的名字
import re #re :正则表达式
for tag in soup.find_all(re.compile('b')):#找出所有以b开头的tag print(tag.name)
attrs:对标签属性值的检索字符串,可标注属性检索
print(soup.find_all('p','course')) print(soup.find_all(id='link1'))
print(soup.find_all(id='link'))
[] #不存在
print(soup.find_all(id = re.compile('link')))
recursive:是否对子孙全部检索,默认True,False:只查询根节点的儿子节点,不在往下查询
print(soup.find_all('a'))
print(soup.find_all('a',recursive = False))
[]
string:<>...</>中字符串区域的检索字符串
<tag>(...) 等价于 <tag>.find_all(...) soup(...) 等价于 soup.find_all(...)
print(soup) #全部 print(soup.find_all(string = "Basic Python")) print(soup.find_all(string = re.compile("Python")))#所有包含Python的 print(soup(string = "Basic Python"))
等价于
print(soup.find_all(string = "Basic Python"))
、