Http协议与TCP协议

 

Http协议与TCP协议的理解

1、计算机网络分层的概念

下边这个图是一个经典的分层描述:

关于网络层

网络层有不同的协议,如IPICMP,两者的不同就是对于上层传过来的数据根据什么样的格式进行切割,然后再次封装时候遵循的准则不同。

ICMPPing命令经常用到的协议。Ping命令不是什么特别神秘的东西,是一个程序员编写的一个exe应用程序,你的电脑控制台之所有能够使用这个程序,是因为你的电脑上安装了这个exe,而且在path里边设置了这个程序的路径。

ICMP全称是报文控制协议。通过上边的图片可以看出,应用层的Ping工具,使用Ping协议,直接跳过运输层,调用了网络层的ICMP协议。ICMP数据包里边内容,都是关于目的主机的一些信息,因此可以用于远程判断一台主机是否存在于网络上。ping程序是对两个系统连通性进行测试的基本工具。它只利用ICMP回显请求和回显应答报文,而不用经过传输层TCP/UDPPing服务器一般在内核中实现ICMP的功能。

网络上一台主机的可达性不仅仅取决于IP层是否可达,还要取决于使用何种协议以及端口号。就比如说,一台主机确实存在于互联网上边,而且一台Client向这台主机使用Ping工具发起ICMP协议包,这些数据包也准确到达了主机。主机在接收到这些数据包之后,从链路层传到网络层一层层拆去包装进行解析,但是主机的操作系统从网络层再往上解析的时候,发现了Ping的端口为6666(假设该主机封闭了该端口),就不会做出反应,而且默默的把这些数据吞了。那么在Client看来,发出去的数据包失联了,会认为这个主机找不到。

所以,总结一下Ping不同可能的原因:主机不在线,比如说关机了或者拔掉网线了。还有就是网络防火墙或者IP策略,会对ICMP报文进行过滤,ping命令无法回应,还有就是主机本身的一些策略,会过滤掉ICMP数据包。

(所有的网络数据都是从一个入口进来的,进来之后操作系统与网卡相关的部件就开始从最底层开始解析这些二进制的数据包,一层层的拆包,组装,然后分析,直到IP层的时候,会对IP数据包进行分析,然后进行TCP层的分析,这时候就发现了端口号这个概念,那么会根据端口号的不同,把这些数据存储在不同的缓冲区域,每个缓冲区域属于一个指定的应用程序(以端口号作为标识)。最终应用程序会从自己的缓冲区域来进行网络数据的读取。)

关于TCP的通信机制

TCP发出一个段后,它启动一个定时器,等待目的端确认收到这个报文段。如果不能及时收到一个确认,将重发这个报文段。TCP将保持它首部和数据的检验和。这是一个端到另一个端端的检验和,目的是检测数据在传输过程中的任何变化。如果收到段的检验和有差错,TCP将丢弃这个报文段和不确认收到此报文段(发送端超时并重发)。既然TCP报文段作为IP数据报来传输,而IP数据报的到达可能会失序,因此TCP报文段的到达也可能会失序。如果必要, TCP将对收到的数据进行重新排序,将收到的数据以正确的顺序交给应用层。

另外,TCP对字节流的内容不作任何解释。TCP不知道传输的数据字节流是二进制数据,还是ASCII字符、EBCDIC字符或者其他类型数据。对字节流的解释由TCP连接双方的应用层解释。这种对字节流的处理方式与Unix操作系统对文件的处理方式很相似。Unix的内核对一个应用读或写的内容不作任何解释,而是交给应用程序处理。对Unix的内核来说,它无法区分一个二进制文件与一个文本文件。

(ASCII码与二进制文件的问题。最终保存在计算机硬盘上的数据都是二进制数据,那么这个二进制数据是怎么来的,这是一个问题。就拿txt文本文件来说,其存储方式就是根据ASCII码将文本内容转换成相应的数字,然后用二进制的形式保存并且存储。但是对于word等文件来说,比较复杂,有专门的软件比如说Office来处理,并且有一定的算法来生成这些二进制。所以这就是为什么Word文件必须要用Office软件来打开。Notepad是操作系统自带的,如果用Notepad去打开word ,那么notepad就会根据ASCII码的方式去解析,最终发现要么无法解析出来字符,要么解析出来的字符是乱码。)

每个TCP段都包含源端和目的端的端口号,用于寻找发端和收端应用进程。这两个值加上IP首部中的源端IP地址和目的端IP地址唯一确定一个TCP连接。一个IP地址和一个端口号也称为一个插口socket.

既然一个TCP连接是全双工(即数据在两个方向上能同时传递),因此每个方向必须单独地进行关闭。这原则就是当一方完成它的数据发送任务后就能发送一个FIN来终止这个方向连接。当一端收到一个FIN,它必须通知应用层另一端几经终止了那个方向的数据传送。发送FIN通常是应用层进行关闭的结果。

Telnet类似,FTP最早的设计是用于两台不同的主机,这两个主机可能运行在不同的操作系统下、使用不同的文件结构、并可能使用不同字符集。但不同的是,Telnet获得异构性是强制两端都采用同一个标准:使用7比特ASCII码的NVT。而FTP是采用另一种方法来处理不同系统间的差异。FTP支持有限数量的文件类型(ASCII,二进制,等等)和文件结构(面向字节流或记录)。

在一次HTTP请求中,form表单的数据与上传的文件数据有什么不同?

表单数据是根据ASCII码转换成的二进制,而上传文件的时候,就是直接读取的计算机硬盘上的二进制数据。比如说上传一个Word文件,服务器端接收到的会是一大段二进制数据。其实文件在客户端存储的时候就是一大段二进制码,那么这个二进制码是怎么生成的?那么就要问微软的Office客户端了,是它根据一定的方式生成的二进制码然后存在了硬盘上。所以,这就是为什么,一个exe生成的文件另外的exe打不开,因为使用的解码方式不一样,不知道怎么去分析这么一大堆的二进制码,然后生成需要字符串展现给用户。

端口号

不是说一个真正存在的实体,或者说在网卡上有个端口啥的。其实端口号就是一个简单的数字标识,用于区分不同的应用程序,有点类似于应用程序的ID,因为网络数据到达了一个主机上边,怎么知道这个数据是给哪个应用程序的呢,这时候端口号就起作用了。前面已经指出过, TCPUDP采用16bit的端口号来识别应用程序。那么这些端口号是如何选择的呢?服务器一般都是通过知名端口号来识别的。例如,对于每个TCP/IP实现来说,FTP服务器的TCP端口号都是21,每个Telnet服务器的TCP端口号都是23,每个TFTP (简单文件传送)服务器的UDP端口号都是69。

客户端通常对它所使用的端口号并不关心,只需保证该端口号在本机上是唯一的就可以了。客户端口号又称作临时端口号(即存在时间很短暂)。这是因为它通常只是在用户运行该客户程序时才存在,而服务器则只要主机开着的,其服务就运行。

网络层( IP)提供点到点的服务,而运输层( TCPUDP)提供端到端的服务。

网络层

TCP/IP协议族中,网络层IP提供的是一种不可靠的服务。也就是说,它只是尽可能快地把分组从源结点送到目的结点,但是并不提供任何可靠性保证。而另一方面, TCP在不可靠的IP层上提供了一个可靠的运输层。为了提供这种可靠的服务, TCP采用了超时重传、发送和接收端到端的确认分组等机制。由此可见,运输层和网络层分别负责不同的功能。

以前一直搞不懂,为什么IP层是不可靠的,而TCP是建立在IP的基础上的,却是可靠的呢?

因为做了一些冗余的操作来保证可靠。TelnetRlogin这两个交互应用要求最小的传输时延,因为人们主要用它们来传输少量的交互数据。另一方面,FTP文件传输则要求有最大的吞吐量。

同一个HTML页面,从服务器端发送到客户端浏览器的过程

1、根据HTTP协议,组装字符串,组装成一次请求回复,这个回复的字符串包括headerbody等。

2、这个字符串会被转成二进制数据。

3、给TCP层去分解

4、TCP层交给IP层,拆解成多个IP数据包。这时候这些包是无序的,不一定哪个包先到达。

5、最终这些包再组成文件,如img,css,js文件。这就是为什么图片渲染出来的顺序不一样。

数据链路层

IP层的下一层是数据链路层,我们也可以理解为以太网层或者令牌网当一台主机把以太网数据帧发送到位于同一局域网上的另一台主机时,是根据48bit的以太网地址来确定目的接口的。设备驱动程序从不检查IP数据报中的目的IP地址。ARP为IP地址到对应的硬件地址之间提供动态映射。我们之所以用动态这个词是因为这个过程是自动完成的,一般应用程序用户或系统管理员不必关心。

在硬件层次上进行的数据帧交换必须有正确的接口地址。但是,TCP/IP有自己的地址:32 bit的IP地址。知道主机的IP地址并不能让内核发送一帧数据给主机。内核(如以太网驱动程序)必须知道目的端的硬件地址才能发送数据。ARP的功能是在32bit的IP地址和采用不同网络技术的硬件地址之间提供动态映射。

获取字符串的ASCII

string A = "Hello World";

byte[] data = Encoding.ASCII.GetBytes(A);

一次Http请求,会建立一个TCP连接,然后将内容切割,分组打包,最后发送到服务器。

以前有个疑问,就是总觉得进行TCP通信的AB之间有个管道。如果A在发消息的时候,B也发送消息,那么内容在管道之中不就冲突了么。但是这种想法是错误的。AB之间根本没有管道,是通过IP层这种路由方式来进行数据包的转换的,发送方与接收方根本都没有指定的路线。发送与接收都是在不同的缓冲区,一般发消息的一方会在发送的内容中添加一个标识符,告诉接收方这次这一批的数据发送完了,你去处理吧,处理完了给我个回复。

当我们写代码的时候,有个读取网络数据的read方法,以前一直以为是去网络上读数据。这是错误的,这个read呢,就是去从缓冲区读取已经被操作系统或者网卡拆箱并且还原了的数据,把这个数据读取到程序的内存中了。

为什么TCP建立连接会花费开销?

这里并不是说要占用很多的互联网上的带宽,这里的花销主要是指电脑上的资源消耗。建立TCP连接的时候,电脑要做很多的准备工作,建立相应的缓冲区域,根据端口号建立存储区域,还有就是IP是不可靠的,TCP要想办法找出空间来存储一些额外的东西来保证可靠性,这都是开销。

还是那句话,建立TCP通道,其实根本没有通道,走的是IP路由,建立通道主要是在电脑内存上开辟出相应的空间。TCP连接一直存在,说明那块相应的缓存区域一直没有被回收。

AB之间是怎么建立起TCP连接的?

这个就涉及到了3次握手机制。因为B机器上有程序在时刻监视着所有的IP数据包,一旦检测到数据包中含有3次握手的内容,便会打开一个连接,然后通过身份验证等机制,最终建立起TCP连接。

相信不少初学手机联网开发的朋友都想知道HttpSocket连接究竟有什么区别,希望通过自己的浅显理解能对初学者有所帮助。

1、TCP连接

手机能够使用联网功能是因为手机底层实现了TCP/IP协议,可以使手机终端通过无线网络建立TCP连接。TCP协议可以对上层网络提供接口,使上层网络数据的传输建立在“无差别”的网络之上。

建立起一个TCP连接需要经过“三次握手”:

第一次握手:客户端发送syn包(syn=j)到服务器,并进入SYN_SEND状态,等待服务器确认;

第二次握手:服务器收到syn包,必须确认客户的SYN(ack=j+1),同时自己也发送一个SYN包(syn=k),即SYN+ACK包,此时服务器进入SYN_RECV状态;

第三次握手:客户端收到服务器的SYN+ACK包,向服务器发送确认包ACK(ack=k+1),此包发送完毕,客户端和服务器进入ESTABLISHED状态,完成三次握手。

握手过程中传送的包里不包含数据,三次握手完毕后,客户端与服务器才正式开始传送数据。理想状态下,TCP连接一旦建立,在通信双方中的任何一方主动关闭连 接之前,TCP 连接都将被一直保持下去。断开连接时服务器和客户端均可以主动发起断开TCP连接的请求,断开过程需要经过“四次握手”(过程就不细写了,就是服务器和客户端交互,最终确定断开)

2、HTTP连接

HTTP协议即超文本传输协议(Hypertext Transfer Protocol ),是Web联网的基础,也是手机联网常用的协议之一,HTTP协议是建立在TCP协议之上的一种应用。

HTTP连接最显著的特点是客户端发送的每次请求都需要服务器回送响应,在请求结束后,会主动释放连接。从建立连接到关闭连接的过程称为“一次连接”。

1)在HTTP 1.0中,客户端的每次请求都要求建立一次单独的连接,在处理完本次请求后,就自动释放连接。

2)在HTTP 1.1中则可以在一次连接中处理多个请求,并且多个请求可以重叠进行,不需要等待一个请求结束后再发送下一个请求。

由于HTTP在每次请求结束后都会主动释放连接,因此HTTP连接是一种“短连接”,要保持客户端程序的在线状态,需要不断地向服务器发起连接请求。通常的做法是即时不需要获得任何数据,客户端也保持每隔一段固定的时间向服务器发送一次“保持连接”的请求,服务器在收到该请求后对客户端进行回复,表明知道客户端“在线”。若服务器长时间无法收到客户端的请求,则认为客户端“下线”,若客户端长时间无法收到服务器的回复,则认为网络已经断开。

3、SOCKET原理

套接字(socket)概念

套接字(socket)是通信的基石,是支持TCP/IP协议的网络通信的基本操作单元。它是网络通信过程中端点的抽象表示,包含进行网络通信必须的五种信息:连接使用的协议,本地主机的IP地址,本地进程的协议端口,远地主机的IP地址,远地进程的协议端口。

应用层通过传输层进行数据通信时,TCP会遇到同时为多个应用程序进程提供并发服务的问题。多个TCP连接或多个应用程序进程可能需要通过同一个 TCP协议端口传输数据。为了区别不同的应用程序进程和连接,许多计算机操作系统为应用程序与TCP/IP协议交互提供了套接字(Socket)接口。应用层可以 和传输层通过Socket接口,区分来自不同应用程序进程或网络连接的通信,实现数据传输的并发服务。

建立socket连接

建立Socket连接至少需要一对套接字,其中一个运行于客户端,称为ClientSocket ,另一个运行于服务器端,称为ServerSocket 

套接字之间的连接过程分为三个步骤:服务器监听,客户端请求,连接确认。

服务器监听:服务器端套接字并不定位具体的客户端套接字,而是处于等待连接的状态,实时监控网络状态,等待客户端的连接请求。

客户端请求:指客户端的套接字提出连接请求,要连接的目标是服务器端的套接字。为此,客户端的套接字必须首先描述它要连接的服务器的套接字,指出服务器端套接字的地址和端口号,然后就向服务器端套接字提出连接请求。

连 接确认:当服务器端套接字监听到或者说接收到客户端套接字的连接请求时,就响应客户端套接字的请求,建立一个新的线程,把服务器端套接字的描述发给客户 端,一旦客户端确认了此描述,双方就正式建立连接。而服务器端套接字继续处于监听状态,继续接收其他客户端套接字的连接请求。

4、SOCKET连接与TCP连接

创建Socket连接时,可以指定使用的传输层协议,Socket可以支持不同的传输层协议(TCP或UDP),当使用TCP协议进行连接时,该Socket连接就是一个TCP连接

5、Socket连接与HTTP连接

由于通常情况下Socket连接就是TCP连接,因此Socket连接一旦建立,通信双方即可开始相互发送数据内容,直到双方连接断开。但在实际网络应用中,客户端到服务器之间的通信往往需要穿越多个中间节点,例如路由器、网关、防火墙等,大部分防火墙默认会关闭长时间处于非活跃状态的连接而导致 Socket 连接断连,因此需要通过轮询告诉网络,该连接处于活跃状态。

HTTP连接使用的是“请求—响应”的方式,不仅在请求时需要先建立连接,而且需要客户端向服务器发出请求后,服务器端才能回复数据。

很多情况下,需要服务器端主动向客户端推送数据,保持客户端与服务器数据的实时与同步。此时若双方建立的是Socket连接,服务器就可以直接将数据传送给客户端;若双方建立的是HTTP连接,则服务器需要等到客户端发送一次请求后才能将数据传回给客户端,因此,客户端定时向服务器端发送连接请求,不仅可以保持在线,同时也是在“询问”服务器是否有新的数据,如果有就将数据传给客户端。

首先,纠正一下我以 前一直误解的概念,我一直以为Http和Tcp是两种不同的,但是地位对等的协议,虽然知道TCP是传输层,而http是应用层今天学习了下,知道了 http是要基于TCP连接基础上的,简单的说,TCP就是单纯建立连接,不涉及任何我们需要请求的实际数据,简单的传输。http是用来收发数据,即实际应用上来的。

TCP连接

从传输层,先说下TCP连接,我们要和服务端连接TCP连接,需要通过三次连接,包括:请求,确认,建立连接。即传说中的“三次握手协议”。

  第一次:C发送一个请求连接的位码SYN和一个随机产生的序列号给Seq,然后S收到了这些数据。

  第二次:S收到了这个请求连接的位码,啊呀,有人向我发出请求了么,那我要不要接受他的请求,得实现确认一下,于是,发送了一个确认码 ACN(seq+1),和SYN,Seq给C,然后C收到了,这个是第二次连接。

  第三次:C收到了确认的码和之前发送的SYN一比较,偶哟,对上了么,于是他又发送了一个ACN(SEQ+1)给S,S收到以后就确定建立连接,至此,TCP连接建立完成。

简单就是:请求,确认,连接。

从实际上的数据应用来说HTTP

在前面客户端和应用服务器建立TCP连接之后,就需要用http协议来传送数据了,HTTP协议简单来说,还是请求,确认,连接。

总体就是C发送一个HTTP请求给S,S收到了这个http请求,然后返回给C http响应,然后C的中间件或者说浏览器把这些数据渲染成为了网页,展示在用户面前。

步骤:

1、发送一个http请求给S,这个请求包括请求头和请求内容

request header:

包括了:

  1、请求的方法是POST/GET,请求的URL,http协议版本。

  2、请求的数据,和编码方式。

  3、是否有cookie和cooies,是否缓存等。

post和get请求方式的区别是,get把请求内容放在URL后面,但是URL长度有限制。而post是以表单的形势,适合要输入密码之类的,因为不在URL中显示,所以比较安全。

request body:

即请求的内容.

2、S收到了http请求,然后根据请求头,返回http响应

response header:包括了1.cookies或者sessions2.状态吗3.内容大小等

response body:

即响应的内容,包括,JS什么的。

3、C收到了以后,就由浏览器完成一系列的渲染,包括执行JS脚本等

 

总结

TCP是底层通讯协议,定义的是数据传输和连接方式的规范
HTTP是应用层协议,定义的是传输数据的内容的规范

HTTP协议中的数据是利用TCP协议传输的,所以支持HTTP也就一定支持TCP

HTTP支持的是www服务 
TCP/IP协议 
它是Internet国际互联网络的基础。TCP/IP是网络中使用的基本的通信协议。 


TCP/IP实际上是一组协议,它包括上百个各种功能的协议,如:远程登录、文件传输和电子邮件等,而TCP协议和IP协议是保证数据完整传输的两个基本的重要协议。通常说TCP/IP是Internet协议族,而不单单是TCP和IP。

posted @ 2017-11-27 15:08  丶老中医  阅读(362)  评论(0编辑  收藏  举报
一切已经开始©2018 丶老中医