requests的常用的方法和bs4的常用的方法:
pip install requests
pip install -i https://doubanio.com/simple/ requests
常用的方法
响应
import requests
requests.get()
requests.post()
r = requests.request(method='get', url='')
r.status_code
r.encoding # 查看编码
r.encoding = "GBK" # 指定编码
r.content # 字节类的数据,比如图片
r.iter_content(chunk_size)
r.text # 文本类型的数据
r.json # 获取json类型的返回值,注意,如果接口不是json类型的返回,会报错
r.cookies # 获取cookies
r.cookies.get_dict # 返回字典类型的cookies
r.url # 请求的url
r.headers
请求
import requests
from fake_useragent import UserAgent
r = requests.request(
method='get',
url='',
params={"k1":"v1"}, # 适用于get请求, 也可以将参数写在URL上
data={"user": "zhangkai"}, # 使用与post请求,带的参数
json={"k1":"v1"}, # 适用于参数必须是json串的请求,一般用于post请求
headers={"User-Agent":UserAgent().random}, # 为请求添加请求头
cookies={"cookies": "xxweqasdqawe"}, # 携带cookies
files={"file": open("a.txt", 'rb').read()} # 上传文件
)
bs4
下载
pip install BeautifulSoup4
from bs4 import BeautifulSoup # 引入
常用
a = '<a href="https://wwww.baidu.com" class="xx">访问百度</a>'
soup = BeautifulSoup(a, "html.parser") # 其他解析器:lxml
# 找一个标签,如果找到的标签有多个,取第一个
soup.find(name="a", attrs={"class": "xx"})
# 找所有的标签
a_obj = souo.find_all(name="a")
# 获取标签对象的文本
a_obj.text
# 获取标签对象的属性
a_obj.get("属性名")