HTTP协议详解(转)

非原创文章，转自博客园http://www.cnblogs.com/TankXiao/archive/2012/02/13/2342672.html

当今web程序的开发技术百家争鸣，asp.net,php,jsp,pert,ajax等等。无论web技术在未来如何发展，理解web程序之间通信的基本协议相当重要，因为它让我们理解了web应用程序的内部工作。本为将对HTTP协议进行详细的实例讲解，内容较多，希望大家耐心看，也希望对大家的开发工作或者测试工作有所帮助。使用Fiddler工具非常方便捕获HTTP Request和Http Response，关于Fiddler工具的用法，参照博主的另一篇文章[Fiddler 教程]

1、什么是HTTP协议

协议是指计算机通信网络中两台计算机之间进行通信所必须共同遵守的法定活规则，超文本传输协议（HTTP）是一种通信协议，它允许将超文本标记语言文档从web服务器传送到客户端的浏览器。

目前我们使用的是HTTP/1.1版本

2、web服务器，浏览器，代理服务器

当我们打开浏览器，在地址栏中输入URL,然后我们就看到了网页。原理是怎样的呢？

实际上我们输入URL后，我们的浏览器给web服务发送了一个Request，Web服务接到Request后进行处理，生成相应的Reponse，然后发送给浏览器，浏览器解析Response中的HTML，这样我们就看到了网页，过程如下图所示

我们的Request有可能是经过了代理服务器，最后才到达Web服务器的。

过程如下所示

代理服务器就是网络信息的中转站，有什么功能呢？

1、提高访问速度，大多数的代理服务器都有缓存功能。

2、突破限制，也就是FQ了

3、隐藏身份

3、URL详解

URL(Uniform Resource Locator)地址用于描述一个网络上的资源，基本格式如下

schema://host[:port#]/path/..../[?query-string][#anchor]

scheme    指定底层使用的协议（例如：http,https,ftp）
host         HTTP服务器的IP地址或者域名

port#       HTTP服务的默认端口是80，这种情况下端口号可以省略。如果使用了别的端口，必须指明，例如http://www.cnblogs.com:8080

path         访问资源的路径

query-string  发送给http服务器的数据

anchor         锚

 

URL的一个例子

http://www.mywebsite.com/sj/test/test.aspx?name=sivergn&x=true#stuff

schema:             http
host:               www.mywebsite.com
path:               /sj/test/test.aspx
Query String:       name=sviergn&x=true
Anchor:             stuff

4、HTTP协议是无状态的

http协议是无状态的，同一个客户端的这次请求和上次请求时没有对应关系的，对HTTP服务来说，他并不知道这两个请求来自同一个客户端。为了解决这个问题，web程序引入了Cookie机制来维护状态。

5、打开一个网页需要浏览器发送很多次Request

1、当你在浏览器输入URL HTTP://www.cnblogs.com的时候，浏览器发送一个Request去获取HTTP://www.cnblogs.com的html，服务器把Response发送回浏览器

2、浏览器分析Request中的HTML,发现其中引用了很多其他文件，必然图片，css文件，js文件。

3、浏览器会自动再次发送Request去获取图片、css文件，或者js文件

4、等所有的文件都成功下载后，网页就被显示出来了。

6、HTTP消息的结构

先看Request消息的结构，Request消息分为3部分，第一部分叫Request line,第二部分叫Request header，第三部分是body，header和body之间有个空行，结构如下图

第一行中的Method表示请求方法，比如“POST”、“GET”,path-to-resource表示请求的资源，http/version-number表示HTTP协议的版本号

当使用的是“GET”方法的时候，body是为空的

比如我们打开博客园首页的request如下

GET http://www.cnblogs.com/  HTTP/1.1
Host:www.cnblogs.com

抽象的东西，难以理解，老感觉是虚的，所谓眼见为实，实际见到的东西，我们才能理解和记忆。我们今天用Fiddler，实际的看看Request和Response。

下面我们打开Fiddler捕获一个博客园登录的Request然后分析下他们的结构，在Inspectors tab下以Raw的方式可以看到完整的Request的消息，如下图

我们再看Reponse消息的结构，和Request消息的结构基本一样。同样也分为三部分，第一部分叫Response line,第二部分叫Reponse header，第三部分是body，header和body之间也有个空行，结构如下图

HTTP/version-number表示HTTP协议的版本号，status-code和message请看下面的详细解释

我们用Fiddler捕捉一个博客园首页的Response然后分析下它的结构，在Inspectors tab下以Raw的方式可以完整的response的消息，如下图

7、Get和Post方法的区别

HTTP协议定义了很多与服务器交互的方法，最基本的有4种，分别是GET,POST,PUT,DELETE,一个URL地址用于描述一个网络上的资源，而HTTP中的GET,POST，PUT,DELETE就对应着对这个资源的查、改、增、删4个操作。我们最常见的就是GET和POST了。GET一般用户获取/查询资源信息，而POST一般用于更新资源信息。

我们看看GET和PSOST的区别

1、GET提交的数据会放在URL之后，以？分割URL和传输数据，参数之间以&相连，如EditPosts.aspx?name=test1&id=12345,POST方法是把提交的数据放在HTTP包的Body中。

2、GET提交的数据大小有限制（因为浏览器对URL的长度有限制），而Post方法提交的数据没有限制

3、GET方式需要使用Request.QueryString来取得变量的值，而Post方式通过Request.Form来获取变量的值。

4、GET方式提交数据，会带来安全问题，比如登录一个页面，通过Get方式提交数据时，用户名和密码出现在URL上，如果页面可以被缓存或者其他人可以访问这台机器，就可以从历史记录获得该用户的账号和密码。

8、状态码

Resonse消息中俄第一行叫做状态行，由HTTP协议本号，状态码，状态消息 三部分组成。

状态码用来告诉HTTP客户端，HTTP服务器是否产生了预期的Response。

HTTP/1.1中定义了5类状态码，状态码由三位数字组成，第一个数字定义了相应的类别

1xx 提示信息-表示请求已被成功接收，继续处理

2xx 成功-表示请求已被成功接收，理解，接受

3xx 重定向-要完成请求必须进行更进一步的处理

4xx 客户端错误-请求有语法错误或请求无法实现

5xx 服务器端错误-服务器未能实现合法的请求

 看看一些常见的状态

 200 OK

最常见的就是成功相应状态码200，这表明请求被成功的完成，所请求的资料发送回客户端

如下图，打开博客园首页

302 Found

重定向，新的URL会在Response中的Location中返回，浏览器将自动使用新的URL发出新的Request  例如在IE中输入，http://www.googl.com,HTTP服务器会返回302，IE取到Response中的Location header的新URL,又重新发送了一个Request。

 304 Not Modified

代表上次的文档已经被缓存，还可以继续使用，

例如打开博客园首页，你会发现很多Reponse的status code 都是304

提示：如果你不想使用本地缓存使用本地缓存可以用Ctrl+F5强制刷新页面

 

400  Bad Request客户端请求与语法错误，不能被服务器所理解

403  Forbidden服务器收到请求，但是拒绝提供服务

404  Not Found

请求资源不存在（输错了URL）

比如在IE中输入一个错误的URL, http://www.cnblogs.com/tesdf.aspx

500 Internal server Error服务发生了不可预计的错误

503 Server Unavailable 服务器当前不能处理客户端的请求，一段时间后可能恢复正常

9、HTTP Request header

使用Fiddler能很方便的查看Request header,点击Inspectors tab-> Request tab ->heades 如下图所示：

header 有很多，比较难以记忆，我们也按照Fidder那样把header进行分类，这样比较清晰也容易记忆。

10、Cache头域

if-Modified-Since

作用：把浏览器端混村页面最后修改时间发送到服务器去，服务器会把这个时间与服务器上实际文件的最后修改时间进行对比。如果时间一直，那么就返回304，客户端就直接使用本地缓存文件。如果时间不一致，就会返回304，客户端就直接使用本地缓存文件。如果时间不一致，就会返回200和新的文件内容。客户端接到之后，会丢弃旧文件，把新文件缓存起来，并显示在浏览器中。

例如：if-Modified-Since:Thu,09 Fed 2012 09:07:57 GMT

实例如下图

If-None-Match

作用：If-None-Match和Etag一起工作，工作原理是在HTTP Reponse中添加ETag信息。当用户再次请求该资源时，将在HTTP Request中加入If-None-Match信息（ETag的值）。如果服务器验证资源的ETag没有改变（该资源没有更新），将返回一个304状态告诉客户端使用本地缓存文件。否则将返回200状态和新的资源和ETag.使用这样的机制将提高网站的性能

例如：If-None-Math:"03f2b33c0bfcc1:0"

实例如下图

pragma

作用：防止页面被缓存，在HTTP/1.1版本中，它和Cache-Control:no-cache作用一模一样

pargma只有一个用法，例如：pragma:no-cache

注意：在HTTP/1.0版本中，只实现了Pragema:no-cache,没有实现Cache-Control

Cache-Control

作用：这个是非常重要的规则。这个用了指定Request-Request遵循的缓存机制。各个指令含义如下

cache-Control:public  可以被任何缓存所缓存（）

cache-Control:private  内容只和缓存到私有缓存中

cache-Control:no-cache 所有内容都不会被缓存

还有其他的一些用法，我还没搞懂其中的意思，请大家参考其他资料

11、Clien头域

Accept

作用：浏览器可以接受的媒体类型

例如：Accept:text/html 代表浏览器可以接受服务器回发的类型为text/html 也就是我们常说的html文档。

如果服务器无法返回text/html类型的数据，服务器应该返回一个406错误（non acceptable）

通配符*代表任意类型

例如 Accept:*/* 代表浏览器可以处理所有类型（一般浏览器发给服务器都是发这个）

Accept-Encoding

作用：浏览器申明自己接受的编码方式，通常指定压缩方法，是否支持压缩，支持申明压缩方法（gzip,deflate），（注意：这不是只字符编码）；

例如：Accept-Encoing:gzip,deflate

Accept-Lanaguage

作用：浏览器申明自己接受的语言

语言跟字符集的区别：中文是语言，中文有多种字符集，比如big5,gb2312,gbk等等

例如：Accept-language:en-us

User-Agent

作用：告诉HTTP服务器，客户端使用的操作系统和浏览器的名称和版本。

我们上网登录论坛的时候，往往会看到一些欢迎信息，其中列出了你的操作系统的名称和版本，你所使用的浏览器的名称和版本，这往往让很多人感到神奇，实际上，服务器应用程序就是Use-Agent这个请求报头域中获取这些信息User-Agent请求报头域允许客户端将它的操作系统、浏览器和其他属性告诉服务器。

例如：Use-Agent:Mozilla/4.0(compatible;MSIE 8.0;Windows NT 5.1;Trident/4.0;CIBA;.NET CLR 3.04506.2152;.Net CLR 3.5.30729;.NET4.0c;InfoPath.2;.NET4.0E)

Accept-Charset

作用：浏览器申明自己接受的字符集，这就是本文前面介绍的各种字符集和字符编码，如gb2312,utf-8(通常我们说Charset包括了相应的字符编码方案)；

12、Cookie/Login头域

Cookie:

作用：最重要的header,将cookie的值发送给HTTP服务器

13、Entity头域 

Content-Length

作用：发送给HTTP服务器数据的长度。

例如：Content-Length:38

Content-Type

作用：内容类型

例如：Content-Type:application/x-www-form-urlencoded

14、Miscellaneous头域

Referer:

作用：提供了Request的上下文信息的服务器，告诉服务器我是从哪哥连接过来的，比如从我主页上链接到一个朋友那里，她的服务器就能够从HTTP Referer中统计出有多少用户点击我主页上的链接访问他的网站。

例如：Referer:http://translate.google.cn/?h1=zh-cn&tab=wT

15、Transport头域

Connetion

例如：Connection：Keep-alive 当一个网页打开完成后，客户端和服务器之间用于传输HTTP数据的TCP链接不会关闭，如果客户端再次访问这个服务器上的网页，会继续使用这一条已经建立的链接

例如：Connetion:close 代表一个Request完成后，客户端和服务器之间用于传输HTTP数据的TCP链接会关闭，当客户端再次发送Request，需要重新建立TCP链接。

 Host(发送请求时，根报头域是必需的)

作用：请求报头域主要用于指定被请求资源的Internt主机和端口号，它通常从HTTP URL中提取出来的

例如:我们在浏览器中输入：http://www.guet.edu.cn/index.html

浏览器发送的请求信息中，就包含Host请求报头域，如下：

Host:http:/www.guet.edu.cn

此处使用缺省端口号80，若指定了端口号，则变成了：host:指定端口号

16、Http Response header

同样的使用Fiddler查看Response header,点击Inpeactors tab-> Reponse Tab-> headers 如下图所示

我们也按照Fiddler那样把header进行分类，这样比较清晰也容易记忆。

17、Cache头域

Date

作用：生成消息的具体时间和日期

例如：Date:Sat,11 Feb 2012 11:35:14 GMT

 Expires

作用：浏览器会在指定过期内使用本地缓存

例如：Expires:tue,08 Feb 2022 11:35:14 GMT

Vary

作用：

例如：Vary：Accept-Encoding

18、Cooke/login头域

P3P

作用：用于跨域设置Cookie,这样可以解决iframe跨域访问Cookie的问题

例如：P3P:CP=CURa ADMa DEVa PSA p

Set-Cookie

作用：非常重要的header,用于把cookie发送到客户端浏览器，每一个写入cookie都会生成一个Set-Cookie.

例如：Set-Cookie:sc=4c31223a;path=/；domain=.acookie.taobao.com