《52讲轻松搞定网络爬虫》读书笔记 - HTTP基本原理
URI 和 URL
URI :Uniform Resource Identifier,即统一资源标志符,
URL :Universal Resource Locator,即统一资源定位符。
举栗子,加深理解
链接https://github.com/favicon.ico,它是一个URI也是一个URL,唯一指向一个图标资源,可以通过URI/URL在互联网上找到它
URL和URI的关系
URL 是 URI 的子集,也就是说每个 URL 都是 URI,但不是每个 URI 都是 URL;URI还包括一个子类叫做URN(Uniform Resource Name),即统一资源名称
URN的作用
URN 只命名资源而不指定如何定位资源
举栗子
比如 urn:isbn:0451450523 指定了一本书的 ISBN,可以唯一标识这本书,但是没有指定到哪里定位这本书
URI、URL、URN的关系图
总结
但是在目前的互联网,URN 的使用非常少,几乎所有的 URI 都是 URL,所以一般的网页链接我们可以称之为 URL,也可以称之为 URI
HTTP协议
超文本
我们在浏览器里看到的网页就是超文本解析而成的,其网页源代码是一系列 HTML 代码,而这些可称为超文本
HTTP 和 HTTPS
HTTP:超文本传输协议
HTTP作用:从网络传输超文本内容到本地浏览器的协议,保证高效准确的传送超文本内容;最常用1.1版本
HTTPS:HTTP的安全版,在HTTP协议的基础上加了一层SSL协议,SSL属于安全协议
HTTPS的作用
- 建立一个安全传输通道,保证数据传输的安全性
- 确认网站的真实性,在浏览器可通过网站的证书查看它认证后的真实信息,也可以通过CA机构颁发的安全签章来查询
HTTP请求过程
在客户端(PC电脑或者手机)输入URL,回车后即可看到页面内容,那这个过程的原理是啥呢?
- 客户端发送请求到服务器
- 服务器接收请求,处理和解析请求
- 服务器返回对应的响应给浏览器
通过浏览器开发者工具的network看请求信息
- Name:请求名称,一般截取URL的最后一部分内容当名称
- Status:响应状态码
- Type:请求的文档类型
- Initiator:请求源,标记请求是由哪个对象或进程发起的
- Size:有三种类型 memory cache、disk cache、资源本身大小
- Time:完成一个请求事务的所需时间(发起请求-处理请求-返回响应)
- Waterfa:页面请求过程的可视化瀑布
memory cache、disk cache区别
memory cache:字面意思就是内存缓存,代表这个资源直接从内存获取, 不经过服务器,当关闭当前页面时,这个资源就被释放掉了
disk cache:硬盘缓存,代表这个资源从本地硬盘获取,也不经过服务器,但不会因关闭当前页面会释放掉,下次打开该页面,该资源仍然显示disk cache
细品一个请求的正确组成
首先,请求的组成部分
Request从客户端向服务端发送,可以分为4部分:请求方法(Request Method),请求网址(Request URL),请求头(Request Headers),请求体(Request Body)
然后,看General部分
已经包含了刚刚说的请求方法和请求网址
status code:响应状态码
Remote Address:远程服务器的地址和端口
Referrer Policy:Referrer 判别策略
请求方法
请求头
用来说明服务器要使用的附加信息,比较重要的信息有:Cookie、Refer、User-Agent
- Accept:请求报头域,用于指定客户端可接受哪些类型的信息。
- Accept-Language:指定客户端可接受的语言类型。
- Accept-Encoding:指定客户端可接受的内容编码。
- origin:请求协议+请求域名
- referer:请求资源地址,标识这个请求是从哪个页面;作用:服务器拿到这信息做处理,如来源统计、防盗链处理
- user-agent:俗称 UA ,让服务器识别客户端的操作系统、系统版本、浏览器版本等信息。在做爬虫时需要加上此信息,伪装成浏览器
- Content-type:互联网媒体类型,也称MIME类型,一般叫请求的媒体类型信息;常见的有:text/html 代表 HTML 格式,image/gif 代表 GIF 图片,application/json 代表 JSON 类型
- Cookie:存储用户信息,一般搭配服务端的Session使用
请求体
Query String Paramter:请求URL后面跟的请求参数,一般是GET请求的数据
Request Playload:请求数据,一般是POST请求的数据
POST请求提交数据方式和Content-Type的关系
细品响应的组成
一般分为三部分:响应状态码(Response Status Code)、响应头(Response Headers)、响应体(Response Body)
响应状态码
响应头
- 包含了:服务器对请求的应答信息,如 Content-Type、Server、Set-Cookie 等
- 常见响应信息有
- Date:响应产生的时间
- Last-Modified:资源的最后修改时间
- Content-Encoding:响应内容的编码
- Content-Length:响应内容长度
- Server:包含服务器的信息,比如名称、版本
- Content-Type:响应内容的文档类型,如果是接口响应,通常为application/json,也可能会加charset=utf-8指定字符集
- Set-Cookie:设置 Cookies。响应头中的 Set-Cookie 告诉浏览器需要将此内容放在 Cookies 中,下次请求携带 Cookies 请求
- Expires:指定响应的过期时间,可以让客户端将加载的内容更新到缓存中,如果再次访问时,可以直接从缓存中加载,降低服务器负载,缩短压缩时间
响应体
响应返回的内容都在响应体中,比如请求网页时,它的响应体就是网页的 HTML 代码;请求一张图片时,它的响应体就是图片的二进制数据;请求一个查询接口时,它响应体就是json字符串