BeautifulSoup4 搜索文档树Day3-8 

#!/usr/bin/env python
#coding: utf8
#python2
from bs4 import BeautifulSoup

'''
标签查找与属性查找:

    标签:
        - 字符串过滤器   字符串全局匹配
            name 属性匹配
            attrs 属性查找匹配
            text 文本匹配

        - 正则过滤器
            re模块匹配

        - 列表过滤器
            列表内的数据匹配

        - bool过滤器
            True匹配

        - 方法过滤器
            用于一些要的属性以及不需要的属性查找。

    属性:
        - class_
        - id
'''
html_doc = """
<html><head><title>The Dormouse's story</title></head><body><p class="sister"><b>$37</b></p><p class="story" id="p">Once upon a time there were three little sisters; and their names were<a href="http://example.com/elsie" class="sister" >Elsie</a><a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>and they lived at the bottom of a well.</p><p class="story">...</p>
"""

soup = BeautifulSoup(html_doc,'lxml')

#name 标签名
#attrs 属性查找匹配
#text 文本匹配
#find与find_all搜索文档

'''
字符串过滤
'''

p = soup.find(name='p')
p_s = soup.find_all(name='p')

print(p)
print(p_s)

#name + attrs
p = soup.find(name='p',attrs={"id":"p"})
print(p)

#name + text
tag = soup.find(name='title',text="The Dormouse's story")
print(tag)

#name + attrs +text
tag = soup.find(name='a',attrs={"class":"sister"},text="Elsie")
print(tag)

'''
正则过滤器
re模块匹配
'''

import re
#name
#根据re模块匹配带有a的节点
a = soup.find(name=re.compile(('a')))
print(a)

a_s = soup.find_all(name=re.compile('a'))
print(a_s)

a_s = soup.find_all(name=re.compile('a'))
print(a_s)

#attrs
a = soup.find(attrs={"id":re.compile('link')})
print(a)

#列表过滤器
#列表的数据匹配
print(soup.find(name=['a','p','html',re.compile('a')]))
print(soup.find_all(name=['a','p','html',re.compile('a')]))

#bool过滤器
#True匹配
print(soup.find(name=True,attrs={"id":True}))

#方法过滤器
#用于一些要的属性以及不需要的属性查找

def have_id_not_class(tag):
    #print(tag.name)
    if tag.name =='p' and tag.has_attr("id") and not tag.has_attr("class"):
      return tag

#print(soup.find_all(name==函数对象))
print(soup.find_all(name=have_id_not_class()))

#补充知识点:
#id
a = soup.find(id='link2')
print(a)

#class
p=soup.find(class_='sister')
print(p)

 

posted @ 2019-07-03 18:49  立早声几又香  阅读(115)  评论(0)  编辑  收藏  举报