强大的BeautifulSoup

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库·它能够通过你喜欢的转换器实现惯用的文档导航

安装BeautifulSoup

  • 推荐使用Beautiful Soup 4，已经移植到BS4中，Beautiful Soup 3已经停止开发了，下面是安装步骤：
    • 如果使用新版的Debain或Ubuntu，可以通过系统软件包管理来安装：apt-get install Python-bs4
    • Beautiful Soup 4通过Pipy发布，可以通过pip安装：pip install beautiful
    • 下载源码安装：https://pypi.org/project/beautifulsoup4/，进入文件夹，运行 python setup.py install

BeautifulSoup 的使用

1 快速开始

  • 导入bs4库：from bs4 import BeautifulSoup 的使用

  • 创建BeautifulSoup对象，创建BeautifulSoup对象有种方式，

    • 通过字符串创建：
    soup = BeautifulSoup(html_str,'lxml',from_encoding='utf-8')


- 通过文件来创建：

    soup = BeautifulSoup(open('index.html'))

文档被转化成Unicode，并且HTML的实例都被转化成Unicode编码。打印soup对象内容，格式化输出

print soup.prettify()

  • Beautiful Soup 会选择合适的解析器来解析这段文档，如果手动解析就要指定解析器解析。

  • BeautifulSoup支持Python标准库的HTML解析器，还支持一些第三方的解析器：lxml、html5lib

    • lxml（需要安装c语言库，分为lxml HTML解析器和lxml XML 解析器）解析速度要比标准库中的HTML解析速度快，安装：pip install lxml或者apt install Python-lxml
    • 纯python实现的html5lib（速度慢），安装：pip install html5lib或者apt install Python-html5lib

推荐使用lxml作为解释器

2 对象种类

  • BeautifulSoup将复杂HTML文档转换换成一个复杂的树形结构，每个节点都是Python对象，对象可以分为4种：

    • Tag
    • NavigablString
    • BeautifulSoup
    • Comment

  • Tag对象就相当于HTML原生文档中的Tag，通俗就是标记。下面就是怎么在HTML抽取Tag：

    • 抽取title：print soup.title
    • 抽取a：print soup.a
    • 抽取p：print soup.p

soup对象本身比较特殊，他的name为[document],对于其他内部标记，输出的值变为标机本身的名称。Tag不仅可以可以获取name，还可以修改name，改变之后将影响所有通过当前BeautifulSoup对象生成HTML文档。

soup.title.name = 'mytitle'
print soup.title
print soup.mytitle

运行结果：
None
<mytitle>.......</mytitle>

3 NavigableString

  • 我们已经得到标记的内容，想要获取标记文字怎么办，需要用到.string
print soup.p.string
print type(soup.p.string)

BeautifulSoup 用NavigableString类包装Tag中的字符串，一个NavigableString字符串与python中Unicode字符串相同，通过Unicode()方法可以直接将NavigableString对象转换成Unicode字符串

unicode_string = unicode(soup.p.string)
  • BeautifulSoup对象表示一个文档的全部内容。大部分可以把他当做Tag对象，是一个T特殊的Tag，因为BeautifulSoup对象并不是真正的HTML或者XML的标记。所以它没有name和attribute属性：
print type(soup.name)
print soup.name
print soup.attrs

运行结果：
<type 'unicode'>
[document]
{}
  • Coment一些特殊对象。比如是文档注释部分：
    print soup.a.string
    print type(soup.a.string)

a标记里的内容实际是注释，如果用.string输出内容的话，会发现已经把注释符号去掉了。如果我们不清楚这个标记.string的情况下，可能造成数据混乱。因此提取字符串时：

if type(soup.a.string)==bs4.element.Comment:
    print soup.a.string

4 遍历文档树

  • BeautifulSoup会将HTML转化为文档进行搜索，树形结构，

    • 子节点
    • 父节点
    • 兄弟节点
    • 前后节点

详细：[https://wizardforcel.gitbooks.io/bs4-doc/content/6.html]https://wizardforcel.gitbooks.io/bs4-doc/content/6.html

5 搜索文档树

  • BeautifulSoup定义了很多搜索方法，着重介绍find_all（）方法

  • find_all( name , attrs , recursive , string , **kwargs )

  • find_all() 方法搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件

  • name 参数：

    • 可以查找所有名字为name的标记，字符串会自动忽略。name参数取值可以字符串、正则表达式、列表、True和方法
    • 比如查找文档中文档所的标记，返回值为列表：'print soup.find_all('b')'
    • 如果传入的是列表参数，那会返回列表中任一元素匹配的内容返回：'print soup.find_all('b'，‘b’)'
    • 传入True，True可以匹配任何值，下面代码查看到所有的tag，但是不会返回字符串节点：
    • for tag in soup.find_all(True):
    print tag.name

  • kwargs 参数在python中表示为keyword参数，如果指定一个名字参数不是搜索内置的参数名，搜索时把该参数当做指定名字Tag的属性来搜索。搜索指定名字的属性可以使用的参数值包括字符串、正则表达式、列表、True。

    • 比如包含id参数，要搜索每个tag的“id”属性：print soup.fina_all(id='link2')

  • 可以指定多个名字的参数也可以同时过滤tag多个属性：

print soup.find_all(href=re.compile("elsie"),id="link1")
  • attrs ，如果搜索包含特殊属性的tag，用到attrs：
data_soup = BeautifulSoup('<div data-foo="value">fool</div>')
data_soup.find_all(attrs={"data-foo":"value"})
  • text 参数：通过text参数搜索文档中的字符串内容，与name参数可选值一样，text参数接收字符串、正则表达式、列表、True：
print soup.find_all(text="Elsie")
print soup.find_all(text={"Tillie","Elsie","Lacie"})
print soup.find_all(text=re.compile("Dormouse"))
  • limit参数
    • find_all返回 全部的搜索结果，如果文档很大，搜索很慢，我们不需要那么多，就可以用他限制返回数量。当搜索结果达到limit值，就停止搜索：
    print soup.find_all("a",limit=2)
  • recursive参数
    • 调用tag的find_all()方法时，Beautiful soup会检索当前tag所有子孙节点，如果只想搜索tag的直接子节点，可以使用参数recursive=False
    print soup.find_all("title")
    print soup.find_all("title",recursive=False)

CSS选择器

  • web前端通过类名前加.，id名前加#，就可以定位元素的位置。同样，可以用类似的方法筛选元素，用到的方法是soup.select()，返回的类型是list

  • 1通过标记名称可以直接查找，逐层查找，也可以找到某个标记下的直接子标记和兄弟节点标记：


#直接查找title标签
print soup.select("title")
#逐层查找title标签
print soup.select("html head title")
#查找直接子节点
#查找head下的title标签
print soup.select("head > title")
#查找p下的id="link1"的标签
print soup.select("p > #link1")
#查找兄弟节点
#查找id="link1"之后class=sisiter的所有兄弟标签
print soup.select("#link1 ~ .sister")
#查找紧跟着id="link1"之后class=sisiter的子标签
print soup.select("#link1 + .sister")
  • 2 通过css的类名查找
print soup.select(".sister")
print soup.select("[class~=sister]")
  • 3 通过tag的id查找

print soup.select("#link1")
print soup.select("a#link2")
  • 4 通过是否存在某个属性来查找
print soup.select('a[href]')
  • 5 通过属性值来查找
print soup.select('a[href="http://example.com/elsie"]')
print soup.select('a[href^="http://example.com/"]')
print soup.select('a[href$="tillie"]')
print soup.select('a[href*=".com/el"]')
posted @ 2018-08-06 22:36  大大的大笨熊  阅读(203)  评论(0)  编辑  收藏  举报