前言

本书对互联网基盘——HTTP协议进行了全面系统的介绍。作者由HTTP协议的发展历史娓娓道来,严谨细致地剖析了HTTP协议的结构,列举诸多常见通信场景及实战案例,最后延伸到Web安全、最新技术动向等方面。本书的特色为在讲解的同时,辅以大量生动形象的通信图例,更好地帮助读者深刻理解HTTP通信过程中客户端与服务器之间的交互情况。读者可通过本书快速了解并掌握HTTP协议的基础,前端工程师分析抓包数据,后端工程师实现REST API、实现自己的HTTP服务器等过程中所需的HTTP相关知识点本书均有介绍。

本书适合Web开发工程师,以及对HTTP协议感兴趣的各层次读者。

第一章、了解 WEB 及网络基础

HTTP 的诞生

1989年3月,HTTP 诞生了,最初设想的理念是:借助多文本之间互相关联形成的超文本,连成 WWW。

Web 成长时代

1990年11月,CERN 研发了世界上第一台 WEB 服务器。

1990年,大家针对 HTML1.0 草案进行讨论,因存在多处模糊的地方,草案被直接废弃。

1992年9月,日本第一个网站的主页上线了。

1993年1月,现代浏览器的祖先 Mosaic 问世,它以内联等形式显示 HTML 的图像,迅速在世界范围内流行开来。

1994年12月,网景公司发布 Netscape Navigator 1.0。

1995年,微软发布了 Internet Explorer 1.0 和 2.0。

驻足不前的 HTTP

HTTP 0.9 :因为那时的 HTTP 并没有正式的标准被建立,所有含有 HTTP 1.0 之前版本的意思。

HTTP 1.0 :1996年5月正式作为标准被公布,并记载于 RFC1945

HTTP 1.1 :1997年1月公布,最新标准版本为 RFC2616

网络基础 TCP/IP

通常使用的网络(包括互联网)是在 TCP/IP 协议族的基础上运作的。而 HTTP 属于它内部的一个子集。

TCP/IP 协议族

TCP/IP 是互联网相关的各类协议族的总称。

TCP/IP 的分层管理

分为四层:

  • 应用层:决定了向用户提供应用服务时通信的活动,例如:FTP、DNS、HTTP。
  • 传输层:提供处于网络连接中的两台计算机之间的数据传输,TCP、UDP。
  • 网络层:处理在网络上流动的数据包,规定传输路线。
  • 数据链路层:处理连接网络的硬件部分。包括控制操作系统、硬件的设备驱动、网卡及光纤等物理可见部分。

分层的好处:把各层之间的接口部分规划好后,修改某个地方时只需修改对应的层,每个层次内部不影响其他层。

TCP/IP 通信传输流

HTTP 举例:

与 HTTP 关系密切的协议 : IP、TCP 和DNS

  • 负责传输的 IP 协议

  • 确保可靠性的 TCP 协议

  • 负责域名解析的 DNS 服务

各种协议与 HTTP 协议的关系

第二章、简单的 HTTP 协议

HTTP 协议用于客户端和服务器之间的通信,请求资源方成为客户端,提供资源响应方成为服务器端。

请求报文是由请求方法、请求 URI、协议版本、可选的请求首部字段和内容实体构成的。

请求报文的构成:

响应报文的构成:

HTTP 是不保存状态的协议

HTTP 是一个无状态协议,自身不具备保存之前发送过的请求或响应的功能。

之后随着发展,引入了 Cookie 技术。

请求 URI 定位资源

HTTP 协议使用 URI 定位互联网上的资源。正是因为 URI 的特定功能,在互联网上任意位置的资源都能访问到。

告知服务器意图的 HTTP 方法

持久连接节省通信量

HTTP 协议的初始版本中,每进行一次 HTTP 通信就要断开一次 TCP连接。

持久连接

为解决上述 TCP 连接的问题,HTTP/1.1 和一部分的 HTTP/1.0 想出了持久连接的方法。

持久连接的特点是,只要任意一端没有明确提出断开连接,则保持 TCP 连接状态。

好处在于减少了 TCP 连接的重复建立和断开所造成的额外开销,减轻了服务器端的负载。

管线化

管线化技术出现后,能够做到同时并行发送多个请求,而不需要一个接一个地等待响应了。

使用 Cookie 的状态管理

Cookie 技术通过在请求和响应报文中写入 Cookie 信息来控制客户端的状态。

Cookie 会根据从服务器端发送的响应报文内的一个叫做 Set-Cookie 的首部字段信息,通知客户端保存 Cookie。当下次客户端再往该服务器发送请求时,客户端会自动在请求报文中加入 Cookie 值后发送出去。

服务器端发现客户端发送过来的 Cookie 后,会去检查究竟是从哪一个客户端发来的连接请求,然后对比服务器上的记录,最后得到之前的状态信息。

第三章、HTTP 报文内的 HTTP信息

HTTP 报文

用于 HTTP 协议交互的信息被称为 HTTP 报文。

HTTP 报文本身是由多行(用 CR+LF 作换行符)数据构成的字符串文本。

HTTP 报文大致可分为报文首部和报文主体两块,通常,并不一定要有报文主体。

结构

实例

编码提升传输速率

HTTP 在传输时可以原样直接传输,也可以在传输时通过编码提升传输速率,通过编码,能有效地处理大量的访问请求,但也消耗更多的 CPU 等资源。

报文主体和实体主体的差异

  • 报文:HTTP 通信中的基本单位,由8位组字节流组成,通过 HTTP 通信传输。
  • 实体:作为请求或响应的有效载荷数据(补充项)被传输,其内容由实体首部和实体主体组成。

压缩传输的内容编码

常用的内容编码有以下几种:

  • gzip(GNU zip)
  • compress(UNIX 系统的标准压缩)
  • deflate(zlib)
  • identity(不进行编码)

分割发送的分块传输编码

在传输大容量数据时,通过把数据分割成多块,能够让浏览器逐步显示页面,这种把实体主体分块的功能称为分块传输编码。

分块传输编码会将实体主体分成多个部分(块)。每一块都会用十六进制来标记块的大小,而实体主体的最后一块会使用“0(CR+LF)”来标记。

发送多种数据的多部分对象集合

发送的一份报文主体内可含有多类型实体。通常是在图片或文本文件等上传时使用。

多部分对象集合包含的对象如下:

  • multipart/form-data:在 Web 表单文件上传时使用。
  • multipart/byteranges:状态码 206,响应报文包含了多个范围的内容时使用。

获取部分内容的范围请求

为了解决加载超大图片导致网络中断的情况而实现的一种手段,叫做范围请求。

对一份 10 000 字节大小的资源,如果使用范围请求,可以只请求5001~10 000 字节内的资源。

内容协商返回最合适的内容

当浏览器的默认语言为英语或中文,访问相同 URI 的 Web 页面时,则会显示对应的英语版或中文版的 Web 页面。这样的机制称为内容协商。

第四章、返回结果的状态码

HTTP 状态码负责表示客户端 HTTP 请求的返回结果、标记服务器端的处理是否正常、通知出现的错误等工作。

状态码类别

更多:HTTP 响应代码

第五章、与 HTTP 协作的 Web 服务器

用单台虚拟主机实现多个域名

即便物理层面只有一台服务器,但只要使用虚拟主机的功能,则可以搭建多个站点。

通信数据转发程序:代理、网关、隧道

HTTP 通信时,除客户端和服务器以外,还有一些用于通信数据转发的应用程序:

  • 代理:一种有转发功能的应用程序,扮演了服务器和客户端中间人的角色。
  • 网关:转发其他服务器通信数据的服务器,它就像自己拥有资源的源服务器一样对请求进行处理。
  • 隧道:将相隔甚远的客户端和服务器两者之间进行中转,并保持双方通信连接的应用程序。

    保存资源的缓存

缓存是指代理服务器或客户端本地磁盘内保存的资源副本。利用缓存可减少对源服务器的访问,因此也就节省了通信流量和通信时间。

客户端的缓存

缓存不仅可以存在于缓存服务器内,还可以存在客户端浏览器中。以 Internet Explorer 程序为例,把客户端缓存称为临时网络文件。

第六章、HTTP 首部

注:这部分太多解释,建议看原文

HTTP 请求报文

在请求中,HTTP 报文由方法、URI、HTTP 版本、HTTP 首部字段等部分构成

HTTP 响应报文

在响应中,HTTP 报文由 HTTP 版本、状态码(数字和原因短语)、HTTP 首部字段 3 部分构成。

HTTP/1.1 首部字段一览

通用首部字段:

请求首部字段:

响应首部字段:

实体首部字段:

第七章、HTTP 的缺点

主要的不足,例举如下:

  • 通信使用明文(不加密),内容可能会被窃听(例如:抓包)
  • 不验证通信方的身份,因此有可能遭遇伪装(例如:DoS)
  • 无法证明报文的完整性,所以有可能已遭篡改(例如:中间人攻击)

HTTP+ 加密 + 认证 + 完整性保护=HTTPS

为了统一解决上述这些问题,需要在 HTTP 等机制。我们把添加了加密及认证机制的称为 HTTPS。

使用 HTTPS 通信

经常会在 Web 的登录页面和购物结算界面等使用 HTTPS 通信。

HTTPS 是身披 SSL 外壳的 HTTP

HTTPS 并非是应用层的一种新协议。只是 HTTP 通信接口部分用 SSL 和 TLS 协议代替而已。

简言之,所谓 HTTPS,其实就是身披SSL 协议这层外壳的 HTTP。

SSL 是独立于 HTTP 的协议,所以不光是 HTTP 协议,其他运行在应用层的 SMTP 和 Telnet 等协议均可配合 SSL 协议使用。可以说 SSL 是当今世界上应用最为广泛的网络安全技术。

相互交换密钥的公开密钥加密技术

SSL 采用一种叫做公开密钥加密(非对称加密)的加密处理方式。

HTTPS 的安全通信机制

通信步骤:

SSL 速度慢吗

HTTPS 也存在一些问题,那就是当使用 SSL 时,它的处理速度会变慢。

HTTPS 比 HTTP 要慢 2 到 100 倍,因为与纯文本通信相比,加密通信会消耗更多的CPU 及内存资源。如果每次通信都加密,会消耗相当多的资源,平摊到一台计算机上时,能够处理的请求数量必定也会随之减少。

第八章、确认访问用户身份的认证

何为认证

服务器为了确认用户的身份,通常需要核对一些信息:

  • 密码
  • 动态令牌
  • 数字证书
  • 生物认证
  • IC 卡

HTTP 使用的认证方式

  • BASIC 认证(基本认证)
  • DIGEST 认证(摘要认证)
  • SSL 客户端认证
  • FormBase 认证(基于表单认证)

第九章、基于 HTTP 的功能追加协议

消除 HTTP 瓶颈的 SPDY

Google 在 2010 年发布了 SPDY(取自 SPeeDY,发音同 speedy),其开发目标旨在解决 HTTP 的性能瓶颈,缩短 Web 页面的加载时间(50%)。

SPDY 的目标

陆续出现的 Ajax 和 Comet 等提高易用性的技术,一定程度上使 HTTP得到了改善,但 HTTP 协议本身的限制也令人有些束手无策。为了进行根本性的改善,需要有一些协议层面上的改动。

处于持续开发状态中的 SPDY 协议,正是为了在协议级别消除 HTTP所遭遇的瓶颈。

使用 SPDY 后,HTTP 协议额外获得以下功能。

  • 多路复用流:通过单一的 TCP 连接,可以无限制处理多个 HTTP 请求。
  • 赋予请求优先级:可以给请求逐个分配优先级顺序。这样主要是为了在发送多个请求时,解决因带宽低而导致响应变慢的问题。
  • 压缩 HTTP 首部
  • 推送功能:支持服务器主动向客户端推送数据的功能。
  • 服务器提示功能:服务器可以主动提示客户端请求所需的资源。

使用浏览器进行全双工通信的WebSocket

利用 Ajax 和 Comet 技术进行通信可以提升 Web 的浏览速度。但问题在于通信若使用 HTTP 协议,就无法彻底解决瓶颈问题。WebSocket网络技术正是为解决这些问题而实现的一套新协议及 API。

WebSocket 协议

主要特点:

  • 推送功能:支持由服务器向客户端推送数据的推送功能。
  • 减少通信量:只要建立起 WebSocket 连接,就希望一直保持连接状态。

期盼已久的 HTTP/2.0

特点:

Web 服务器管理文件的 WebDAV

WebDAV(基于万维网的分布式创作和版本控制)是一个可对 Web 服务器上的内容直接进行文件复制、编辑等操作的分布式文件系统。

第十章、构建 Web 内容的技术

  • HTML
  • CSS
  • JavaScript
  • 动态 HTML
  • CGI
  • Servlet
  • XML
  • RSS/Atom
  • JSON

第十一章、Web 的攻击技术

对 Web 应用的攻击模式有以下两种:

  • 主动攻击:是指攻击者通过直接访问 Web 应用,把攻击代码传入的攻击模式
  • 被动攻击:指利用圈套策略执行攻击代码的攻击模式

因输出值转义不完全引发的安全漏洞:

  • XSS 注入
  • SQL 注入
  • OS 命令注入
  • HTTP 首部注入攻击
  • 邮件首部注入攻击
  • 目录遍历攻击
  • 远程文件包含漏洞

    因设置或设计上的缺陷引发的安全漏洞:

  • 强制浏览

  • 不正确的错误信息处理
  • 开放重定向

因会话管理疏忽引发的安全漏洞:

  • 会话劫持
  • 会话固定攻击
  • 跨站点请求伪造

其他安全漏洞:

  • 密码破解
  • 点击劫持
  • DoS 攻击
  • 后门程序