HTTP协议学习笔记

本文版权归作者（苦瓜糖水）所有，禁止转载至其他网站，以致污染搜索环境。

本文对网络上资料进行了一下重新整理与排版，用于加深自己对知识熟悉程度。

一、URL

HTTP URL(URL是一种特殊类型的URI，包含了用于查找某个资源足够的信息)的格式如下：

http://host[:port][abs_path]

例如：http://192.168.0.1:8080/index.html

 

1）http 表示要通过 HTTP 协议来定位网络资源；

2）host 表示合法的 Internet 主机域名或者 IP 地址； 

3）port 指定一个端口号，为空则使用缺省端口 80；

4）abs_path 指定请求资源的 URI。

备注：

如果 URL 中没有给出abs_path，那么当它作为请求 URI 时，必须以“/”的形式给出，通常这个工作浏览器自动帮我们完成。 例如：在浏览器地址栏中输入：www.baidu.com，浏览器内部会将其自动转换成：http://www.baidu.com/

二、请求

http 请求由三部分组成，分别是：请求行、请求报头、请求正文

 

1、请求行

请求行以一个方法字符串开头，以空格分开，后面跟着请求的 URI 和协议的版本，格式如下：

Method Request-URI HTTP-Version CRLF

例如：GET /news.html HTTP/1.1 (CRLF)

 

1）Method 表示请求方法；

2）Request-URI 是一个统一资源标识符；

3）HTTP-Version 表示请求的 HTTP 协议版本；

4）CRLF 表示回车和换行（不允许出现单独的 CR 或 LF 字符）。

 

请求方法（所有方法全为大写）有多种，各个方法的解释如下： 

GET	请求获取 Request-URI 所标识的资源
POST	在 Request-URI 所标识的资源后附加新的数据
HEAD	请求获取由 Request-URI 所标识的资源的响应消息报头
PUT	请求服务器存储一个资源，并用 Request-URI 作为其标识
DELETE	请求服务器删除 Request-URI 所标识的资源
TRACE	请求服务器回送收到的请求信息，主要用于测试或诊断
CONNECT	保留将来使用
OPTIONS	请求查询服务器的性能，或者查询与资源相关的选项和需求

 

应用举例： 

GET：在浏览器的地址栏中输入网址的方式访问网页时，浏览器采用 GET 方法向服务器获取资源。如：

GET /news.html HTTP/1.1 (CRLF)

 

POST：要求被请求服务器接受附在请求后面的数据，常用于提交表单。如：

POST /login.html HTTP/1.1 (CRLF)

 

备注：

HEAD 方法与 GET 方法几乎是一样的，对于 HEAD 请求的回应部分来说，它的 HTTP 头部中包含的信息与通过 GET 请求所得到的信息是相同的。利用这个方法，不必传输整个资源内容，就可以得到 Request-URI 所标识的资源的信息。该方法常用于测试超链接的有效性，是否可以访问，以及最近是否更新。 

 

2、请求报头：见下文。

3、请求正文：略。

 

三、响应

在接收和解释请求消息后，服务器返回一个 HTTP 响应消息。HTTP 响应也是由三个部分组成，分别是：响应行、响应报头、响应正文 

 

1、状态行格式如下：

HTTP-Version Status-Code Reason-Phrase CRLF

 

1）HTTP-Version 表示服务器 HTTP 协议的版本；

2）Status-Code 表示服务器发回的响应状态代码；

3）Reason-Phrase 表示状态代码的文本描述。 

状态代码有三位数字组成，第一个数字定义了响应的类别，且有五种可能取值： 

（1）1xx：指示信息--表示请求已接收，继续处理 

（2）2xx：成功--表示请求已被成功接收、理解、接受 

（3）3xx：重定向--要完成请求必须进行更进一步的操作 

（4）4xx：客户端错误--请求有语法错误或请求无法实现 

（5）5xx：服务器端错误--服务器未能实现合法的请求 

 

例如：

HTTP/1.1 200 OK （CRLF）

 

常见状态代码、状态描述、说明：

200	OK	客户端请求成功
400	Bad Request	客户端请求有语法错误，不能被服务器所理解
401	Unauthorized	请求未经授权，必须和WWW-Authenticate报头域一起使用
403	Forbidden	服务器收到请求，但是拒绝提供服务
404	Not Found	请求资源不存在（如：输入了错误的 URL）
500	Internal Server Error	服务器发生不可预期的错误
503	Server Unavailable	服务器当前不能处理客户端的请求（一段时间后，可能恢复正常）

2、响应报头：见下文。

3、响应正文：服务器返回的资源内容

 

四、消息报头

HTTP消息由客户端到服务器的请求和服务器到客户端的响应组成。请求消息和响应消息都是由开始行（对于请求消息，开始行为请求行，对于响应消息，开始行为状态行）、消息报头（可选）、空行（只有CRLF的行）、消息正文（可选）组成。

HTTP 消息报头包括普通报头、请求报头、响应报头、实体报头。 每一个报头域都是由名字+“：”+空格+值 组成，消息报头域的名字与大小写无关的。

1、普通报头

在普通报头中，有少数报头域用于所有的请求和响应消息，但并不用于被传输的实体，只用于传输的消息。例如：

Cache-Control：用于指定缓存指令，缓存指令是单向的（响应中出现的缓存指令在请求中未必会出现），且是独立的（一个消息的缓存指令不会影响另一个消息处理的缓存机制），HTTP1.0使用类似的报头域为Pragma。 

1） 请求时的缓存指令包括：no-cache（用于指示请求或响应消息不能缓存）、no-store、max-age、 max-stale、min-fresh、only-if-cached;

2） 响应时的缓存指令包括：public、private、no-cache、no-store、no-transform、 must-revalidate、proxy-revalidate、max-age、s-maxage. 

Date：普通报头域表示消息产生的日期和时间。

Connection：普通报头域允许发送指定连接的选项。例如指定keep-alive是连续，如指定“close”则通知服务器，在响应完成后关闭连接。

 

2、请求报头

请求报头允许客户端向服务器端传递请求的附加信息以及客户端自身的信息，常用的请求报头如下：

1）Accept：用于指定客户端接受哪些类型的信息。例如： 

（1）Accept：image/gif，表明客户端希望接受GIF图象格式的资源；

（2）Accept：text/html，表明客户端希望接受 html 文本。 

2）Accept-Charset：用于指定客户端接受的字符集。例如： 

Accept-Charset：UTF-8

如果在请求消息中没有设置这个域，缺省是任何字符集都可以接受。 

3）Accept-Encoding：类似于 Accept，但它用于指定可接受的内容编码。例如： 

Accept-Encoding：gzip, deflate

如果请求消息中没有设置这个域服务器假定客户端对各种内容编码都可以接受。 

4）Accept-Language：类似于Accept，但是它是用于指定一种自然语言。例如：

Accept-Language：zh-cn

如果请求消息中没有设置这个报头域，服务器假定客户端对各种语言都可以接受。 

5）Authorization：用于证明客户端有权查看某个资源。当浏览器访问一个页面时，如果收到服务器的响应代码为401（未授权），可以发送一个包含 Authorization 请求报头域的请求，要求服务器对其进行验证。 

6）Host（发送请求时是必需的）：用于指定被请求资源的Internet主机和端口号，它通常从HTTP URL中提取出来的，例如：

我们在浏览器中输入：

http://www.baidu.com/

浏览器发送的请求消息中，就会包含Host请求报头域： 

Host：www.baidu.com

此处使用缺省端口号80，若指定了端口号，则变成：

Host：www.baidu.com:指定的端口号

7）User-Agent：主要用于允许客户端将它的操作系统、浏览器和其它属性告知服务器。不过这个报头域不是必需的，如果要编写一个浏览器，不使用User-Agent请求报头域，那么服务器端就无法得知我们的信息了。 

请求报头举例： 

GET /form.html HTTP/1.1 (CRLF)  Accept:image/gif,image/jpeg,application/vnd.ms-excel, */* (CRLF) 

Accept-Language:zh-cn (CRLF) 

Accept-Encoding:gzip,deflate (CRLF) 

If-Modified-Since:Wed,05 Jan 2007 11:21:25 GMT (CRLF)

If-None-Match:W/"80b1a4c018f3c41:8317" (CRLF)

User-Agent:Mozilla/4.0(compatible;MSIE6.0;Windows NT 5.0) (CRLF) 

Host:www.guet.edu.cn (CRLF) Connection:Keep-Alive (CRLF) 

(CRLF)

 

3、响应报头

响应报头允许服务器传递不能放在状态行中的附加响应信息，以及关于服务器的信息和对Request-URI所标识的资源进行下一步访问的信息。 常用的响应报头。

1）Location：用于重定向接受者到一个新的位置。Location响应报头域常用在更换域名的时候。 

2）Server：包含了服务器用来处理请求的软件信息。与User-Agent请求报头域是相对应的。下面是 Server 响应报头域的一个例子： 

Server：Apache-Coyote/1.1

3）WWW-Authenticate：必须被包含在401（未授权的）的响应消息中，客户端收到 401 响应消息时候，并发送 Authorization 报头域请求服务器对其进行验证时，服务端响应报头就包含该报头域。例如：

WWW-Authenticate:Basic realm="Basic Auth Test!"

 

4、实体报头

请求和响应消息都可以传送一个实体。一个实体由实体报头域和实体正文组成，但并不是说实体报头域和实体正文要在一起发送，可以只发送实体报头域。实体报头定义了关于实体正文（如：有无实体正文）和请求所标识的资源的元信息。常用的实体报头如下：

1）Content-Encoding：用作媒体类型的修饰符，它的值指示了已经被应用到实体正文的 附加内容的编码，因而要获得 Content-Type 报头域中所引用的媒体类型，必须采用相应的解码机制。 Content-Encoding 这样用于记录文档的压缩方法，例如：

Content-Encoding：gzip

2）Content-Language：描述了资源所用的自然语言。没有设置该域则认为实体内容将提供给所有的语言阅读 者。例如：

Content-Language：zh-CN

3）Content-Length：用于指明实体正文的长度，以字节方式存储的十进制数字来表示。 

4）Content-Type：用于指明发送给接收者的实体正文的媒体类型。例如：

Content-Type:text/html;charset=ISO-8859-1 Content-Type:text/html;charset=GB2312

5）Last-Modified：用于指示资源的最后修改日期和时间。 

6）Expires：用于给出响应过期的日期和时间。为了让代理服务器或浏览器在一段时间以后更新缓存中(再次访问曾访问过的页面时，直接从缓存中加载，缩短响应时间和降低服务器负载)的页面，我们可以使用Expires实体报头域指定页面过期的时间。例如：

Expires：Thu，15 Sep 2006 16:23:12 GMT

HTTP1.1 的客户端和缓存必须将其他非法的日期格式（包括0）看作已经过期。例如：为了让浏览器不要缓存页面，我们也可以利用Expires实体报头域，设置为0。

 

五、观察通讯过程

利用MS的c工具，通过手动输入http请求信息的方式，向服务器发出请求，服务器接收、解释和接受请求后，会返回一个响应，该响应会在telnet窗口上显示出来，从而加深对http协议通讯过程的认识。

1、打开 telnet

win+R --> 输入cmd --> telnet www.baidu.com 80 --> 回车

注意：请确保自身window主机已经安装Telnet客户端，否则无法执行telnet指令，安装telnet教程：

https://jingyan.baidu.com/article/1e5468f9033a71484961b7d7.html

2、连接服务器并发送请求

1）输入Ctrl + ] 进行退出，会看到：

 

  欢迎使用 Microsoft Telnet Client

          Escape 字符是 'CTRL+]'

          Microsoft Telnet>

 

输入Enter，进入黑漆漆一片的界面

3）输入如下内容（有时间限制， 所以最好是先写好， 然后整体拷贝进去）

GET /index.html HTTP/1.1
Host: www.baidu.com

4）连续按两下Enter，会输出结果：

GET /index.html HTTP/1.1

Host: www.baidu.comHTTP/1.1 200 OK

Date: Mon, 05 Jun 2017 10:13:36 GMT

Content-Type: text/html

Content-Length: 14613

Last-Modified: Fri, 19 May 2017 07:46:00 GMT

Connection: Keep-Alive

Vary: Accept-Encoding

Set-Cookie: BAIDUID=6BD472F4E1AB6A49500EBA684C4A3AB9:FG=1; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com

Set-Cookie: BIDUPSID=6BD472F4E1AB6A49500EBA684C4A3AB9; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com

Set-Cookie: PSTM=1496657616; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com

P3P: CP=" OTI DSP COR IVA OUR IND COM "

Server: BWS/1.1

X-UA-Compatible: IE=Edge,chrome=1

Pragma: no-cache

Cache-control: no-cache

Accept-Ranges: bytes

 

六、HTTP协议相关技术补充

1、基础

高层协议：FTP（文件传输协议）、SMTP（电子邮件传输协议）、DNS（域名系统服务）、NNTP（网络新闻传输协议）和HTTP协议等。

中介：分别有代理(Proxy)、网关(Gateway)和通道(Tunnel)三种。 

1）代理(Proxy)：

一个中间程序，它可以充当一个服务器，也可以充当一个客户机，为其它客户机建立请求。请求是通过可能的翻译在内部或经过传递到其它的服务器中。一个代理在发送请求信息之前，必须解释并且如果可能重写它。代理经常作为通过防火墙的客户机端的门户，代理还可以作为一个帮助应用 来通过协议处 理没有被用户代理完成的请求。 

2）网关(Gateway)：

一个作为其它服务器中间媒介的服务器。与代理不同的是，网关接受请求就好象 对被请求的资源来说它就是源服务器；发出请求的客户机并没有意识到它在同网关打交道。 网关经常作为通过防火墙的服务器端的门户，网关还可以作为一个协议翻译器以便存取那些存储在非HTTP系统中的资源。

3）通道(Tunnel)：

一个作为两个连接中继的中介程序。一旦激活，通道便被认为不属于HTTP通讯，尽管通道可能是被一个HTTP请求初始化的。当被中继的连接两端关闭时，通道便消失。当一个门户(Portal)必须存在或中介(Intermediary)不能解释中继的通讯时通道被经常使用。

2、协议分析的优势—HTTP 分析器检测网络攻击

以模块化的方式对高层协议进行分析处理，将是未来入侵检测的方向。HTTP及其代理的常用端口80、3128和8080在network部分用port标签进行了规定

3、HTTP协议Content Lenth限制漏洞导致拒绝服务攻击

使用POST方法时，可以设置ContentLenth来定义需要传送的数据长度，例如：

ContentLenth:999999999

在传送完成前，内存不会释放，攻击者可以利用这个缺陷，连续向WEB服务器发送垃圾数据直至WEB服务器内存耗尽。这种攻击方法基本不会留下痕迹。

4、利用HTTP协议的特性进行拒绝服务攻击的一些构思

服务器端忙于处理攻击者伪造的TCP连接请求而无暇理睬客户的正常请求（毕竟客户端的正常请求比率非常之小），此时从正常客户的角度看来，服务器失去响应，这种情况我们称作：服务器端受到了SYNFlood攻击（SYN洪水攻击）。 而Smurf、TearDrop等是利用ICMP报文来Flood和IP碎片攻击的。本文用“正常连接”的方法来产生拒绝服务攻击。

19端口在早期已经有人用来做Chargen攻击了，即Chargen Denia of Service，但是！他们用的方法是在两台Chargen服务器之间产生UDP连接，让服务器处理过多信息而DOWN掉，那么，干掉一台 WEB服务器的条件就必须有2个：Chargen服务与HTTP 服务 

方法：攻击者伪造源IP给N台Chargen发送连接请求（Connect），Chargen接收到连接后就会返回每秒72字节的字符流（实际上根据网络实际情况，这个速度更快）给服务器。

5、Http指纹识别技术

Http指纹识别的原理大致上也是相同的：记录不同服务器对Http协议执行中的微小差别进行识别。Http指纹识别比TCP/IP堆栈指纹识别复杂许多,理由是定制Http服务器的配置文件、增加插件或组件使得更改Http的响应信息变的很容易,这样使得识别变的困难；然而定制TCP/IP堆栈的行为需要对核心层进行修改,所以就容易识别。

要让服务器返回不同的Banner信息的设置是很简单的，像Apache这样的开放源代码的Http服务器，用户可以在源代码里修改Banner信息,然后重起Http服务就生效了；对于没有公开源代码的Http服务器比如微软的IIS或者是Netscape，可以在存放 Banner 信息的Dll文件中修改，相关的文章有讨论的，这里不再赘述，当然这样的修改的效果还是不错的。另外一种模糊Banner信息的方法是使用插件。 

常用测试请求： 

1）HEAD/Http/1.0 发送基本的Http请求 

2）DELETE/Http/1.0 发送那些不被允许的请求,比如Delete请求 

3）GET/Http/3.0 发送一个非法版本的Http协议请求 

4）GET/JUNK/1.0发送一个不正确规格的Http协议请求Http指纹识别工具 

Httprint,它通过运用统计学原理,组合模糊的逻辑学技术,能很有效的确定Http服务器的类型.它可以被用来收集和分析不同Http服务器产生的签名。

6、其他

为了提高用户使用浏览器时的性能，现代浏览器还支持并发的访问方式，浏览一个网页时同时建立多个连接，以迅速获得一个网页上的多个图标，这样能更快速完成整个网页的传输。HTTP1.1中提供了这种持续连接的方式，而下一代HTTP协议：HTTP-NG更增加了有关会话控制、丰富的内容协商等方式的支持，来提供更高效率的连接。