requests的常用的方法和bs4的常用的方法:

requests下载

 pip install requests
 pip install -i https://doubanio.com/simple/ requests

常用的方法

响应

 import requests
 
 requests.get()
 requests.post()
 r = requests.request(method='get', url='')
 r.status_code
 r.encoding   # 查看编码
 r.encoding = "GBK"    # 指定编码
 r.content  # 字节类的数据,比如图片
 r.iter_content(chunk_size)
 r.text   # 文本类型的数据
 r.json   # 获取json类型的返回值,注意,如果接口不是json类型的返回,会报错
 r.cookies   # 获取cookies
 r.cookies.get_dict   # 返回字典类型的cookies
 r.url    # 请求的url
 r.headers

请求

 import requests
 from fake_useragent import UserAgent
 r = requests.request(
     method='get',
     url='',
     params={"k1":"v1"},  # 适用于get请求, 也可以将参数写在URL上
     data={"user": "zhangkai"},   # 使用与post请求,带的参数
     json={"k1":"v1"}, # 适用于参数必须是json串的请求,一般用于post请求
     headers={"User-Agent":UserAgent().random},  # 为请求添加请求头
     cookies={"cookies": "xxweqasdqawe"}, # 携带cookies
     files={"file": open("a.txt", 'rb').read()}  # 上传文件
 )

 

bs4

下载

 pip install BeautifulSoup4
 from bs4 import BeautifulSoup   # 引入

常用

 a = '<a href="https://wwww.baidu.com" class="xx">访问百度</a>'
 soup = BeautifulSoup(a, "html.parser")   # 其他解析器:lxml
 # 找一个标签,如果找到的标签有多个,取第一个
 soup.find(name="a", attrs={"class": "xx"})
 # 找所有的标签
 a_obj = souo.find_all(name="a")
 # 获取标签对象的文本
 a_obj.text
 # 获取标签对象的属性
 a_obj.get("属性名")

 

posted @   干it的小张  阅读(275)  评论(0编辑  收藏  举报
编辑推荐:
· 智能桌面机器人:用.NET IoT库控制舵机并多方法播放表情
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
阅读排行:
· 手把手教你在本地部署DeepSeek R1,搭建web-ui ,建议收藏!
· 新年开篇:在本地部署DeepSeek大模型实现联网增强的AI应用
· 程序员常用高效实用工具推荐,办公效率提升利器!
· Janus Pro:DeepSeek 开源革新,多模态 AI 的未来
· 【译】WinForms:分析一下(我用 Visual Basic 写的)
点击右上角即可分享
微信分享提示