图解HTTP-笔记

HTTP (HyperText Transfer Protocol, 超文本传输协议)

Web使用一种名为 HTTP(HyperText Transfer Protocol, 超文本传输协议 1) 的协议作为规范, 完成从客户端到服务器端等一系列运作流程。 而协议是指规则的约定。 可以说, Web 是建立在 HTTP 协议上通信的。

1.3 TCP/IP 协议族

通常使用的网络(包括互联网) 是在 TCP/IP 协议族的基础上运作的。 而 HTTP 属于它内部的一个子集。

不同的硬件、 操作系统之间的通信, 所有的这一切都需要一种规则。而我们就把这种规则称为协议(protocol)。

把与互联网相关联的协议集合起来总称为 TCP/IP

TCP/IP 协议族按层次分别分为以下 4 层: 应用层、 传输层、 网络层和数据链路层。

应用层:

决定向用户提供应用服务时通信的活动。TCP/IP 协议族内预存了各类通用的应用服务。比如,FTP(File Transfer Protocol,文件传输协议)和DNS(Domain Name System,域名系统)服务就是其中两类。HTTP协议也处于该层

传输层:

传输层对上层应用层,提供处于网络连接中的两台计算机之间的数据传输。在传输层有两个性质不同的协议:TCP(Transmission Control Protocol, 传输控制协议)和UDP(User Data Protocol, 用户数据报协议)

网络层:

网络层用来处理在网络上流动的数据包。 数据包是网络传输的最小数据单位。 该层规定了通过怎样的路径(所谓的传输路线) 到达对方计算机,并把数据包传送给对方。与对方计算机之间通过多台计算机或网络设备进行传输时,网络层所起的作用就是在众多的选项内选择一条传输路线。

链路层:

用来处理连接网络的硬件部分。包括控制操作系统、硬件的设备驱动、 NIC(Network Interface Card,网络适配器,即网卡),及光纤等物理可见部分(还包括连接器等一切传输媒介)。硬件上的范畴均在链路层的作用范围之内。

TCP/IP通信传输流

FetZAcdRKnxs9CY

利用TCP/IP协议族进行网络通信时,会通过分层顺序与对方进行通讯。发送端从应用层往下走,而接收端则往应用层上走

例如HTTP,首先作为发送端的客户端在应用层(HTTP协议)发送一个想看某个Web页面的HTTP请求。

接着,为了传输方便,在传输层(TCP)把从应用层处收到的数据(HTTP请求报文)进行分割,并在各个报文上打上标记序号及端口号后转发给网络层。

在网络层(IP协议),增加作为通信目的地的MAC地址后转发给链路层。这样,发往网络的通信请求就准备齐全了。

接收端的服务器在链路层接收到数据,按序往上层发送,一直到应用层。当传输到应用层,才能算真正接收到由客户端发送过来的HTTP请求。

hJyKr965aS2pbZv

发送端在层与层之间传输数据时,每经过一层时必定会被打上一个该层所属的首部信息。反之,接收端在层与层传输数据时,每经过一层时会把对应的首部消去。

这种把数据信息包装起来的做法称为封装。

1.4 IP

IP网际协议位于网络层

“IP”是一种协议的名字

IP协议的作用是各种数据包传送给对方。而要保证确实传送到对方那里,则需要满足各类条件。其中两个重要的条件是IP地址和MAC地址(Media Access Control Address)

IP地址指明了节点被分配到的地址,MAC地址是指网卡所属的固定地址。IP地址可以和MAC地址进行配对。IP地址可变换。但MAC地址基本不会更改。

使用ARP协议凭借MAC地址进行通信IP 间的通信。依赖 MAC 地址。 在网络上,通信的双方在同一局域网(LAN) 内的情况是很少的, 通常是经过多台计算机和网络设备中转才能连接到对方。 而在进行中转时,会利用下一站中转设备的 MAC地址来搜索下一个中转目标。 这时, 会采用 ARP 协议(Address Resolution Protocol)。ARP是一种用以解析地址的协议,根据通信方的 IP 地址就可以反查出对应的 MAC 地址。

4OH2q1dMVkb6E75

TCP

TCP位于传输层,提供可靠的字节流服务

所谓的字节流服务(Byte Stream Service) 是指, 为了方便传输, 将大块数据分割成以报文段(segment) 为单位的数据包进行管理。 而可靠的传输服务是指, 能够把数据准确可靠地传给对方。 一言以蔽之,TCP 协议为了更容易传送大数据才把数据分割, 而且 TCP 协议能够确认数据最终是否送达到对方。

确保数据能到达目标

三次握手

用TCP西医把数据包发送出去后,TCP不会对传送后的情况置之不理,它一定会想对方确认是否成功送达。

握手过程中使用了TCP的标志(flag)--SYN(synchronize)和ACK(acknowledgement)

发送端首先发送一个带SYN标志的数据包给对方。结接收端收到后,回传一个带有SYN/ACK标识的数据包以示传达确认信息。最后,发送端再回传一个带ACK标志的数据包,代表“握手”结束。

若在握手过程中某个阶段莫名中断,TCP协议会再次以相同的顺序发送相同的数据包

RmIprYsvgEMFGBy

1.5 DNS

DNS(Domain Name System)服务是和HTTP协议一样位于应用层的协议。它提供域名到IP之间的解析服务

计算机既可以被赋予IP地址,也可以被赋予主机名和域名。比如www.hackr.jp

用户通常使用主机名或域名来访问对方的计算机,而不是直接通过IP地址访问。因为与IP地址的一组纯数字相比,用字母配合数字的表示形式来指定计算机名更符合人类的记忆习惯。

但要让计算机去理解名称,相对而言就变的困难了,因为计算机更擅长处理一长串数字。为解决以上问题,DNS服务应运而生。DNS协议提供通过域名查找IP地址,或逆向从IP地址反查域名的服务。

rjTHIClgwFn6Pf7

1.6 IP、TCP、DNS在HTTP通信中的作用

r8cVNoazYgx3n69

1.7 URI和URL

URI----统一资源标识符 URL----统一资源定位符

URL正是使用Web浏览器等访问Web页面时需要输入的网页地址。

URI,就是由某个协议方案表示的资源的定位标识符。协议方案是指访问资源所使用的的协议类型名称。

采用HTTP协议时,协议方案就是http。除此之外还有ftp、mailto、telnet、file等

URI用字符串标识某一互联网资源,而URL表示资源的地点。可见URL是URI的子集。

例如:

ftp://ftp.is.co.za/rfc/rfc1808.txt

URI格式

mbHnsjlT7IxgXSV

2. 简单的HTTP协议

2.1 HTTP协议用于客户端和服务端之间的通信

请求范文文本或图像等资源的一端称为客户端,而提供资源响应的一端称为服务器端。

yocbTYXFeIjdHMD

2. 通过请求和响应的交换达成通信

EhU9jRtMKsiSZwO

aoBjUGsM6rFVtKx

u7GIHCQp29O4qSF

3. HTTP是不保存状态的协议

6xCQE9yspiSX8nt

4. 请求URI定位资源

zpZLtdFYanhJTqv

5. 告知服务器意图的HTTP方法

GET:获取资源

Z2iNoV6xqnCw9DQ

I9oV4aJsOLRfNen

POST:传输实体主体

jDXC9adVp8ek5yS

UtEQBpc4WDgYF2I

PUT:传输文件

8GFKjmSxVe7u1nM

Hz97QGIjoLsnp3P

HEAD:获得报文首部

OHJkYEUC7jB31gA

V7ZXUnAy15ujFs4

DELETE:删除文件

OJk3R7LzQUvVbMY

5meEq8o9vJZwXUA

OPTIONS:询问支持的方法

bWSVHJeKMdjql4h

8yt3sf2XDEjCzAq

TRACE:追踪路径

是让Web服务器端将之前的请求通信环回给客户端的方法

JBKMhgT4OL2AFzm

CONNECT:要求用隧道协议连接代理

要求代理服务器通信时建立隧道,实现用隧道协议进行TCP通信

格式:

CONNECT 代理服务器名:端口号 HTTP版本

ILz4mN2MOfQEwbT

Wyva6SdTwJX3HYR

2.6 下达命令

可以指定请求的资源按期望产生某种行为

fZkbLhRGKqdIPMj

2.7 持久连接节省通信量

HTTP初始版本每进行一次HTTP通信就要断开一次TCP连接。

SNWtZ2H5vRQ39E1为解决提出持久连接,特点:只要任意一端没有明确提出断开连接,则保持TCP连接状态。

bKIuSWw2UiV6BCl

管线化技术,不用等待响应亦可直接发送下一个请求

Xixo1tYbFdSD9cU

2.8 使用Cookie的状态管理

HTTP是无状态协议,无法根据之前的状态进行本次的请求处理

Ymj64ODVysElZCX

Cookie技术通过在请求和响应报文中写入Cookie信息来控制客户端的状态。

8hGKB6cebTNjlqp

o5cyUvTzxFP76DJ

3. HTTP报文内的HTTP信息


4. 返回结果的HTTP状态


5.与HTTP协作的Web服务器

代理、网关、隧道


6. HTTP首部


7. 确保Web安全的HTTPS

在HTTP协议中可能存在信息窃听或身份伪装等安全问题。使用HTTPS通信机制可以有效防止这些问题。

HTTP不足:

  • 通信使用明文,内容可能被窃听

  • 不验证通信方的身份,因此有可能遭遇伪装

  • 无法证明报文的完整性,所以有可能已遭篡改

通信使用明文可能会被窃听

TCP/IP是可能被窃听的网络

P6sXILgAmrYklGH

加密处理防止被窃听,加密的方式:

一种是将通信加密,HTTP协议中没有加密机制,但可以和SSL(Secure Socket Layer,安全套接层)或者TLS(Transport Layer Security,安全层传输协议)的组合使用加密HTTP的通信内容

与SSL组合使用的HTTP被称为HTTPS(超文本传输安全协议)或HTTP over SSL

q5rUXTzoc8Su1Qn

服务端和客户端之间建立起安全的通信线路之后开始通信。

还有一种是将参与通信的内容本身加密的方式。

不验证通信方的身份就可能遭遇伪装

HTTP协议中的请求和响应不会对通信方进行确认

  • 任何人都可以发起请求

    • 无法确定请求发送到目标的Web服务器是否是按真实意图响应的那台服务器。

    • 无法确定响应返回到客户端是否是真实意图接受响应的那个客户端。

    • 无法确定正在通信的对方是否具备访问权限

    • 无法判断请求时来自何方、出自谁手

    • 即使是无意义的请求也会照单全收。无法阻止海量请求下的DoS攻击

  • 查明对手的证书

    虽然HTTP无法确定通信方,但使用SSL则可以。SSL不仅提供加密处理,而且还使用了一种被称为证书的手段可用于确定。

    证书由值得信任的第三方机构颁发,足以证明服务器和客户端是实际存在的。

无法证明报文完整性,可能已遭篡改

  • 接收到的内容可能有误

    比如某个Web网站上下载内容,是无法确定客户端下载的文件和服务器上存放的文件是否前后一致的。文件内容在传输途中可能已经被篡改为其他的内容。即使真的已改变,作为接收方的客户端也是察觉不到的。

    像这样在请求和响应传输途中,遭攻击者拦截并篡改内容内容的攻击称为中间人攻击。

  • 如何防止篡改

    使用HTTPS,SSL提供认证和加密技术处理及摘要功能。

7.2 HTTP+加密+认证+完整性保护=HTTPS

HTTPS是身披SSL外壳的HTTP

通常HTTP直接和TCP通信,当使用SSL时,则演变成先和SSL通信,再由SSL和TCP通信。

相互交换密钥的公开密钥加密技术

!HTTPS的安全通信机制

5Pd4AxShiLleE1C

步骤 1: 客户端通过发送 Client Hello 报文开始 SSL通信。 报文中包含客户端支持的 SSL的指定版本、 加密组件(Cipher Suite) 列表(所使用的加密算法及密钥长度等) 。

步骤 2: 服务器可进行 SSL通信时, 会以 Server Hello 报文作为应答。 和客户端一样, 在报文中包含 SSL版本以及加密组件。 服务器的加密组件内容是从接收到的客户端加密组件内筛选出来的。

步骤 3: 之后服务器发送 Certificate 报文。 报文中包含公开密钥证书。

步骤 4: 最后服务器发送 Server Hello Done 报文通知客户端, 最初阶段的 SSL握手协商部分结束。

步骤 5: SSL第一次握手结束之后, 客户端以 Client Key Exchange 报文作为回应。 报文中包含通信加密中使用的一种被称为 Pre-master secret 的随机密码串。 该报文已用步骤 3 中的公开密钥进行加密。

步骤 6: 接着客户端继续发送 Change Cipher Spec 报文。 该报文会提示服务器, 在此报文之后的通信会采用 Pre-master secret 密钥加密。

步骤 7: 客户端发送 Finished 报文。 该报文包含连接至今全部报文的整体校验值。 这次握手协商是否能够成功, 要以服务器是否能够正确解密该报文作为判定标准。

步骤 8: 服务器同样发送 Change Cipher Spec 报文。

步骤 9: 服务器同样发送 Finished 报文。

步骤 10: 服务器和客户端的 Finished 报文交换完毕之后, SSL连接 就算建立完成。 当然, 通信会受到 SSL的保护。 从此处开始进行应用层协议的通信, 即发送 HTTP 请求。

步骤 11: 应用层协议通信, 即发送 HTTP 响应。

步骤 12: 最后由客户端断开连接。 断开连接时, 发送 close_notify 报文。 上图做了一些省略, 这步之后再发送 TCP FIN 报文来关闭与 TCP的通信。

在以上流程中, 应用层发送数据时会附加一种叫做 MAC(Message Authentication Code) 的报文摘要。 MAC 能够查知报文是否遭到篡改, 从而保护报文的完整性。

mjEMPdYNfgDe8w1

8. 确认访问用户身份的认证


9. 基于HTTP的功能追加协议


10. 构建Web内容的技术

10.1 HTML

11. Web的攻击技术

posted @ 2019-08-26 14:27  LOXO  阅读(1090)  评论(0编辑  收藏  举报