bs4 模块

爬虫之bs4模块

我们在编写一些业务时需要从html页面上获取到用户输入的内容。比如说文章内容。

其实底层是在编写html代码，用户输入的时候看着是字其实是标签里包含输入的文本

我们如果直接保存到表里会把标签一起存起来了。这时候就需要一些工具帮助我们筛选或匹配。

from bs4 import BeautifulSoup
soup = BeautifulSoup('文本','解释器')
soup.find('标签')  # 拿到标签
soup.find_all('标签') # 拿到所有指定标签
soup.find('标签').text  # 拿到指定标签的文本内容
soup.find('a').get('href') # 拿到a标签内的href

排除掉标签提取所有的字符

from bs4 import BeautifulSoup

Soup = BeautifulSoup(content,'lxml')
tags=soup.find_all()
for tag in tags:
    if tag.name =='script':
        tag.decompose() # 删除标签