requests库的介绍及get请求 + 小案例
介绍:requests是一个很实用的Python HTTP客户端库
requests库的安装:
打开命令提示框输入以下代码:pip install requests -i https://pypi.douban.com/simple
常见的requests请求方式有以下几种:
requests.get |post|put|delete|head|options
常用的请求一般是get请求和post请求最为常用,本篇主要介绍get请求
requests的常用方法(ctrl+右键单击打开requests库源代码)
1 #导包 2 import requests 3 #获取url路径内容 4 res = requests.get(url) 5 #返回内容文本 6 res.text 7 #返回一个二进制文件 8 res.content 9 #返回一个cookies对象 10 res.cookies
为了防止因为编码出现的乱码问题,我们得手动设置它的编码
第一种:(手动设置)
1 res.encoding = "utf8"
第二种:(根据获取的网页自带的编码进行自动修改)
1 res.encoding = res.apparent_encoding
小案例:爬取一张百度图片
这里我们找到一张图片右键将它的链接复制下来,接下来就可以在后台操作了
#导包 import requests url = "https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1608186234162&di=18e1fe2de040dc0dc9b95fdfabbd8d1f&imgtype=0&src=http%3A%2F%2Fa0.att.hudong.com%2F73%2F63%2F01300000291092130348631206160.jpg" #获取url路径内容 res = requests.get(url) #设置编码 res.encoding = res.apparent_encoding #得到一个二进制文件 img_get = res.content #文件操作保存在本地,wb写入一个二进制文件 with open("图片.jpg","wb") as f: f.write(img_get)
程序运行完成后就可以在本地看到图片了这就算爬取成功了