requests的常用的方法和bs4的常用的方法:
pip install requests
pip install -i https://doubanio.com/simple/ requests
常用的方法
响应
import requests
requests.get()
requests.post()
r = requests.request(method='get', url='')
r.status_code
r.encoding # 查看编码
r.encoding = "GBK" # 指定编码
r.content # 字节类的数据,比如图片
r.iter_content(chunk_size)
r.text # 文本类型的数据
r.json # 获取json类型的返回值,注意,如果接口不是json类型的返回,会报错
r.cookies # 获取cookies
r.cookies.get_dict # 返回字典类型的cookies
r.url # 请求的url
r.headers
请求
import requests
from fake_useragent import UserAgent
r = requests.request(
method='get',
url='',
params={"k1":"v1"}, # 适用于get请求, 也可以将参数写在URL上
data={"user": "zhangkai"}, # 使用与post请求,带的参数
json={"k1":"v1"}, # 适用于参数必须是json串的请求,一般用于post请求
headers={"User-Agent":UserAgent().random}, # 为请求添加请求头
cookies={"cookies": "xxweqasdqawe"}, # 携带cookies
files={"file": open("a.txt", 'rb').read()} # 上传文件
)
bs4
下载
pip install BeautifulSoup4
from bs4 import BeautifulSoup # 引入
常用
a = '<a href="https://wwww.baidu.com" class="xx">访问百度</a>'
soup = BeautifulSoup(a, "html.parser") # 其他解析器:lxml
# 找一个标签,如果找到的标签有多个,取第一个
soup.find(name="a", attrs={"class": "xx"})
# 找所有的标签
a_obj = souo.find_all(name="a")
# 获取标签对象的文本
a_obj.text
# 获取标签对象的属性
a_obj.get("属性名")
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 智能桌面机器人:用.NET IoT库控制舵机并多方法播放表情
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 手把手教你在本地部署DeepSeek R1,搭建web-ui ,建议收藏!
· 新年开篇:在本地部署DeepSeek大模型实现联网增强的AI应用
· 程序员常用高效实用工具推荐,办公效率提升利器!
· Janus Pro:DeepSeek 开源革新,多模态 AI 的未来
· 【译】WinForms:分析一下(我用 Visual Basic 写的)