数据通信与网络技术之TCP/IP（上）

数据通信与网络技术之TCP/IP

前言

为了使全球范围内的计算机可以进行开放式通信，国际标准化组织(International Organization for Standardization，ISO)制定了实现网络互连的一个参考模型，即开放系统互连参考模型（Open System Internetwork Reference Model，OSI/RM）。该模型（体系结构标准）定义了网络互连的七层框架，即物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。

网络模型 是对于网络互联及其功能的的一个抽象概况。
他有两种网络模型：
1） OSI参考模型 七层
应用层 表示层 会话层 传输层 网络层 数据链路层 物理层
2）TCP/IP协议模型（协议栈 ，协议簇） 四层
应用层 传输层 网络层 网络接口层
网络体系结构：网络模型各分层结构及各层协议的集合。

本文目标：

• 理解计算机通信为什么需要协议。
• 了解协议需要明确的要素。
• 掌握TCP/IP协议分层和OSI参考模型。
• 能够使用抓包工具分析计算机通信协议工作过程。
• 掌握TCP/IP协议栈每一层实现功能。
• 了解TCP/IP协议栈每一层包含的协议。

一、通信基础

1.网络通信基本概念

何为通信？通信是指人与人，人与物...之间通过某种媒介和行为进行的信息传递与交流。
网络通信：终端设备通过计算机网络进行数据传递的过程。

2.信息传递过程：

基于网络模型通信的过程：
源-数据封装-转发-解封装-接收

封装：数据在传递中基于网络模型的各层对数据进行的处理，即加入了一些控制信息的过程，即为封装。（数据形式发生了变化，这种变化就是在网络模型各层协议的作用下完成的，从形式上是数据前面不断加上了各层的控制信息）

3.通信系统模型

信源-信息-编码-信号-信道-信号-解码-信宿

通信系统是指通信中所需要的一切技术设备和传输介质构成的总体。信息在进入信道时通过发送变换器变换为适合信道传输的形式，在进入信宿时通过接收变换器变换为适合信宿接收的形式。

4.通信方式(从通信过程的不同角度来进行分类)

1．单工、半双工、全双工传输（数据通信双方是否能实现双向通信及如何实现双向通信）

2.异步、同步（数据通信中采用的同步技术不同）

注意：有两个区别点：
1）是否采用统一的主控时钟
2）传输间隔是否固定
异步传输如何让接收方来明确接收呢？采用起止标志！（开始传输及传输结束的标志）

3 串行、并行传输（数据通信中数据位的传输模式）

4 基带、频带传输（传输信号是否调制）

注意：
基带：数字设备产生的数据直接传输不经过任何调制。（数字信号）
频带：数字设备产生的数据经过调制（DA转换 digital-analog）成为宽带模拟信号来传输。（模拟传输）

4 单播、组播、广播传输（根据接收范围）

注意：
区别就在于接收端的地址（是确定独立的目的地址、组播地址还是广播地址）

计算机网络中主要采用全双工通信、串行通信、异步传输，局域网中采用基带传输，远距离传输一般采用频带传输。

5.通信规则

通信规则的主要元素：

• 标识出发送方和接收方
• 双方一致同意的通信方法（面对面、电话、信件、照片）
• 通用语言和语法
• 传递的速度和时间
• 证实或确认要求

二、协议概述

1.协议简介

协议：通信规则的集合，用于规范通信过程。

协议三要素： 语法、语义、时序

例：IP首部（下图是IP协议定义的需要填写的表格也就是IPv4首部）

2.协议分层

1.
TCP/IPv4协议栈是目前结构最完整、使用最广泛的通信协议；以TCP/IP协议为例（四层结构），注意分层的协议（协议分层实现可以将复杂功能分解，每一层功能由相应层次协议完成）

2.
计算机通信使用的协议按功能分层，分为：

应用层、传输层、网络层和数据链路层

• 应用层协议的甲方、乙方是服务器端程序和客户端程序，实现应用程序的功能。

• 传输层协议的甲方、乙方分别位于通信的两个计算机中，TCP为应用层协议实现可靠传输，UDP为应用层协议提供报文转发服务。

• 网络层协议中的IP为数据包跨网段转发选择路径，IP是多方协议，包括通信的两台计算机和沿途经过的路由器。

• 数据链路层负责将网络层的数据包从链路的一端发送到另一端，同一链路上的设备是数据链路层协议的对等实体，数据链路层协议的作用范围是一段链路，不同类型的链路有不同的数据链路层协议。

3.
协议分层优点：

（1）各层之间是独立的。某一层并不需要知道它的下一层如何实现，而仅需知道该层通过层间接口所提供的服务。上层对下层来说就是要处理的数据。

（2）灵活性好。每一层有所改进和变化，不会影响其他层。

（3）各层都可以采用最合适的技术来实现。比如适合布线的就使用双绞线连接网络，有障碍物的就使用无线覆盖。

（4）促进标准化工作。路由器实现网络层功能，交换机实现数据链路层功能，不同厂家的路由器和交换机能够相互连接实现计算机通信，就是因为有了网络层标准和数据链路层标准。

（5）分层后有助于将复杂的计算机通信问题拆分成多个简单的问题，有助于排除网络故障。

3.OSI七层模型与TCP/IP协议模型

a. OSI七层模型

--OSI参考模型（ISO提出的一种网络分层模型）

层次结构（七层）

应用层： 网络的服务（不同的服务由不同应用程序在具体应用协议下实现）

应用层协议用于实现应用程序的功能，将实现方法标准化就可以形成应用层协议。互联网中的应用有很多，比如访问网站、收发电子邮件、访问文件服务器等，因此，应用层协议也很多。

应用层协议应该包含的内容有客户端能够向服务器发送哪些请求（命令）、服务器能够向客户端返回哪些响应、用到的报文格式、命令的交互顺序等。

表示层：实现数据的表示（比如字符、图文数据的表示，以及数据的压缩，加密）

为应用层传送的信息提供表示方法。如果应用层传输的是字符文件，则要使用字符集将其转换成数据。如果是图片文件或是应用程序的二进制文件，则要通过编码将其转换成数据。数据在传输前是否压缩、是否加密处理都是表示层要解决的问题。

会话层 session ：实现通信双方会话的管理、跟踪

会话层为通信的客户端和服务端程序建立会话、保持会话和断开会话。

传输层transport： 实现通信应用进程之间的通信，及数据传输的可靠性等方面工作

传输层主要为主机之间通信的进程提供端到端（End-to-End）服务，处理数据报错误、数据报次序错误等传输问题。

网络层 network：实现网络中源设备与目的设备之间的通信，路径选择及分组转发。

网络层负责数据包从源网络传输到目标网络过程中的路由选择工作。

数据链路层 data link：实现每一段链路的数据传输，及传输的差错及流量控制等工作。

数据链路层负责将数据从链路的一端传到另一端，传输的基本单位为“帧”，并为网络层提供差错控制和流量控制服务。

物理层 physical：实现底层的一些规范工作，包括电气、机械、功能及规程（过程操作）等方面的规定，实现物理连接。

物理层是OSI参考模型中的最底层，主要定义了系统的电气、机械、过程和功能标准，如电压、带宽、最大传输距离和其他的类似特性。

信息传递

每一层有每一层的功能，每一层的功能由该层的协议来实现，协议完成功能之后每一层的协议数据单元发生了变化，形成了新的数据单元。

每一层收到上一层的协议数据单元作为其输入数据，作为本层的数据荷载，在本层协议的封装下，形成本层的协议数据单元，即输出，又作为下一层的输入数据。

网络通信中，每一层处理的数据，成为PDU协议数据单元，每一层的PDU不同，不同的PDU是在每一层的协议作用下发生的变化，这个过程就是数据封装；在接收时，接收方再对接收的数据按照模型的逆过程来提供解封装。

OSI模型中：应用层，表示层、会话层的PDU：数据 data

• 传输层的PDU： 数据分段 segment
• 网络层的PDU： 数据包 packet
• 数据链路层PDU： 帧 frame
• 物理层的PDU： 比特流 bits

注意：物理层不是传输媒介，传输媒介是在物理层之下。

b. TCP/IP协议模型

层次结构（四层）

1） 每一层的功能
2） 信息传递：封装-解封装
3） 每一层已经有具体的协议来支持，所以TCP/IP是目前的实际应用的通信协议。

如：

应用层：
HTTP、FTP、DNS、Telnet（远程登录）
SMTP（发邮件）、POP（收邮件） （用于电子邮件传输）
DHCP（用于动态分配IP地址及其他地址资源的协议）

传输层：
TCP（提供可靠传输）
UDP（实现快速的尽力传输）

网络层：
ARP（地址解析，实现IP地址与MAC地址之间的映射）
IP（网络分组转发）
ICMP（网络控制报文协议，发送消息）
IGMP（网络组播管理，实现组播传送）

网络接口层：
实现链路层传输及物理层规范。其中包括在不同链路段的具体技术如局域网中的CSMA/CD，广域网中的PPP、HDLC、帧中继

c.OSI参考模型与TCP/IP协议模型的对比：

相同点：
② OSI 参考模型与 TCP/IP 参考模型都采用了层次结构。
② 都能够提供面向连接和无连接两种通信服务机制。
③ 都是对网络互联的结构及网络通信过程进行描述。

不同点：
① OSI 采用的七层模型； TCP/IP 是四层结构。
② TCP/IP 参考模型没有对网络接口层进行细分，只是一些概念性的描述； OSI 参考模型对服务和协议做了明确的区分。
③ OSI 先有模型，后有协议规范（但没有具体协议），适合于描述各种网络；TCP/IP 是先有协议集然后建立模型，不适用于非 TCP/IP 网络。
④ TCP/IP 一开始就提出面向连接和无连接服务，而 OSI 一开始只强调面向连接服务，直到很晚才开始制定无连接的服务标准。
⑤ OSI 参考模型虽然被看好，但将网络划分为七层，实现起来较困难；相反，TCP/IP 参考模型作为一种简化的分层结构且有实际协议的支持应用很成功。

一些常见术语

三、应用层协议

1.应用层协议

计算机通信实质上是计算机上的应用程序通信，通常由客户端程序向服务端程序发起通信请求，服务端程序向客户端程序返回响应，实现应用程序的功能。

互联网中有很多应用，如访问网站、域名解析、发送电子邮件、接收电子邮件、文件传输等。每一种应用都需要规定好客户端程序能够向服务端发送哪些请求、服务端程序能够向客户端返回哪些响应、客户端向服务端发送请求（命令）的顺序、出现意外后如何处理、发送请求和响应的报文有哪些字段、每个字段的长度、每个字段的值代表什么意思。这些规定就是应用程序通信使用的协议，这些应用程序通信使用的协议被称为应用层协议。

2.TCP/IPV4协议栈中常见的应用层协议

• 超文本传输协议（HyperText Transfer Protocol, HTTP）用于访问Web服务。
• 安全的超文本传输协议（HTTPS）能够将HTTP通信进行加密传输。
• 简单邮件传输协议（Simple Mail Transfer Protocol，SMTP）用于发送电子邮件。
• 邮局协议版本3 （Post Office Protocol 3，POP3）用于接收电子邮件。
• 域名解析协议（Domain Name System，DNS）协议用于域名解析。
• 文件传输协议（File Transfer Protocol，FTP）用于在Internet上传和下载文件。
• 远程登录协议（Telnet）用于远程配置网络设备、Linux和Windows系统。
• 动态主机配置协议（Dynamic Host Configuration Protocol，DHCP）用于计算机或其他网络设备自动配置IP地址、子网掩码、网关和DNS等设置。

3.应用层体系结构

应用层体系结构与网络体系结构不同，应用层体现的主要是应用程序，从应用程序开发者的角度看，网络体系结构是固定的，并为应用程序提供了特定的服务集合；应用程序体系结构由应用程序开发者设计，规定如何在各种端系统上组织该应用程序。

应用程序体系结构主要有客户机/服务器（Client/Serve，C/S）模式、浏览器/服务器（Browser/Server，B/S）模式和对等（Peer to Peer，P2P）模式，也即体现了应用层协议与最终用户应用程序之间的交互方式。

C/S

• 服务器-客户机，即Client-Server(C/S)结构。C/S结构通常采取两层结构。服务器负责数据的管理，客户机负责完成与用户的交互任务，设备角色固定。

• C/S结构在技术上已经很成熟，它的主要特点是交互性强、具有安全的存取模式、响应速度快、利于处理大量数据。但是C/S结构缺少通用性，系统维护、升级需要重新设计和开发，增加了维护和管理的难度，进一步的数据拓展困难较多，所以C/S结构只限于小型的局域网。

• 缺点：服务端存在单点失效；客户端需安装环境，工作量较大；对于服务器的安全性的配置与维护也较为复杂。

P2P

• P2P，即Peer-to-Peer的缩写，也称“点对点”或“端对端”，学术上常称为“对等计算”。P2P是一种以非集中化方式使用分布式资源来完成一些关键任务的系统和应用。P2P与目前网络中占据主导地位的客户/服务器体系架构相对应。它表示分布式计算中各进程之间是一种对等的关系。

• P2P特点： 非中心化、可扩展性、健壮性、高性价比、隐私保护、负载均衡

• P2P应用：文件共享下载、P2P搜索引擎、分布式对等计算、分布式数据存储、协同工作、即时通讯、多媒体传输

• 优点：实现了资源的检索和传输的分离；中心服务器的压力得到缓解；节省了网络宽带；缩短了文件传输延时；资源和服务器的检索效率较高；维护成本低；扩展性好

• 缺点：安全性；访问效率；管理问题

C/S与P2P的区别

• 1）C/S工作模式中信息资源的共享是以服务器为中心

• 2）P2P工作模式淡化服务提供者与服务使用者的界限，P2P网络中的每台计算机即可以是网络服务使用者也可以是提供者

• 3）C/S与P2P模式的差别主要在应用层 C/S：DNS，SMTP，FTP，WebP2P：支持文件共享类Napster与BitTorrent服务协议、支持多媒体传输类Skype服务的协议

• P2P网络是在IP网络上构建的一种逻辑的覆盖网，P2P是一种网络的覆盖模式

• B/S其实是C/S方式的一种特例，所以也应算在C/S中

4.WWW服务

a.基本概念

1. WWW又称为万维网，简称为Web, 是Internet技术发展中的一个重要的里程碑；

2. WWW系统的结构采用了客户/服务器模式；

3. 信息资源以web页的形式存储在WWW服务器中，用户通过WWW客户端浏览器程序图、文、声并茂的Web页内容；

4. 通过Web页中的链接，用户可以方便地访问位于其他WWW服务器中的Web页，或是其他类型的网络信息资源。

b.特点

1. 以超文本方式组织网络多媒体信息，用户可以访问文本、语音、图形和视频信息；

2. 用户可以在Internet范围内的任意网站之间查询、检索、浏览及发布信息，并实现对各种信息资源透明的访问；

3. 提供生动、直观、统一的图形用户界面；

4. WWW服务的核心技术是：

•  超文本标记语言HTML
  

•  超文本传输协议HTTP
  

•  超链接 hyperlink
  

c.超文本标记语言HTML与超链接

1) WWW服务器中所存储的页面是一种结构化的文档，采用超文本标记语言书写而成；

• HTML是WWW上用于创建超文本链接的基本语言，可以定义WWW主页格式化的文本、色彩、图像与超文本链接；

• HTML文档可以将声音、图像、视频等多媒体信息集成在一起 ；

• 使用HTML语言开发的HTML超文本文件一般具有.htm（或.html）后缀。

2) WWW以客户/服务器方式工作；

• 浏览器browser是在用户计算机上运行的WWW客户程序；

• WWW服务器程序运行在服务器，管理着提供浏览的文档；

3) 超链接（hyperlink） 用于将HTML与其他主页相连。

5.HTTP协议

a.基本概念

• HTTP是用于从万维网（World Wide Web ，WWW）服务器传输超文本到本地浏览器的传送协议。HTTP是TCP/IPv4协议栈的一个应用层协议，用来传递HTML 文件, 图片文件, 查询结果等。

• HTTPS全称 hyper text transfer protocol over secure socket layer,是以安全为目标的HTTP通道，即HTTP下加入SSL层，简称HTTPS。

b.HTTP请求报文格式

1. 由于HTTP是面向文本的，因此在报文中的每一个字段都是一些ASCII码串，因而各个字段的长度都是不确定的。HTTP请求报文由三个部分组成。

2. 开始行：用于区分是请求报文还是响应报文。在请求报文中的开始行叫作请求行，而在响应报文中的开始行叫作状态行。

3. 首部行：用来说明浏览器、服务器或报文主体的一些信息。

4. 实体主体：在请求报文中一般都不用这个字段，而在响应报文中也可能没有这个字段。

c.HTTP请求报文中的方法

浏览器能够向Web服务器发送以下8种方法（有时也叫“动作”或“命令”）来表明Request-URL指定的资源的不同操作方式

•  GET：请求获取Request-URL所标识的资源。
  

•  POST：在Request-URL所标识的资源后附加新的数据。
  

•  HEAD：请求获取由Request-URL所标识的资源的响应消息报头。
  

•  PUT：请求服务器存储一个资源，并用Request-URL作为其标识。
  

•  DELETE：请求服务器删除Request-URL所标识的资源。
  

•  TRACE：请求服务器回送收到的请求信息，主要用于测试或诊断。
  

•  CONNECT：用于代理服务器。
  

•  OPTIONS：请求查询服务器的性能，或者查询与资源相关的选项和需求。
  

d.响应报文格式

响应报文的第一行就是状态行。

状态行包括3项内容，即HTTP的版本、状态码以及解释状态码的简单短语。

e.HTTP响应报文状态码

状态码（Status-Code）都是3位数字的，分为5大类共33种。

• 1xx 表示通知信息的，如请求收到了或正在进行处理。
• 2xx 表示成功，如接受或知道了。
• 3xx 表示重定向，如要完成请求还必须采取进一步的行动。
• 4xx 表示客户端错误，如请求中有错误的语法或不能完成。
• 5xx 表示服务器的差错，如服务器失效无法完成请求。

例如：
HTTP/1.1 202 Accepted(接受）
HTTP/1.1 400 Bad Request(错误的请求）
HTTP/1.1 404 Not Found(找不到）
HTTP/1.1 500 Internal Server Error（服务器遇到了未曾预料的状况）
HTTP/1.1 503 Service Unavailable（临时的服务器维护或者过载，服务器无法处理请求）

f.抓包分析HTTP

抓包工具是拦截查看网络数据包内容的软件。抓包工具由于其可以对数据通信过程中的所有IP报文实施捕获并进行逐层拆包分析，一直是传统固网数通维护工作中常用的故障排查工具。

HTTP请求报文GET方法

HTTP请求报文POST方法

HTTP响应报文

6.FTP协议

a.基本概念

• FTP（File Transfer Protocol）是因特网中使用广泛的文件传输协议，用于在Internet上控制文件的双向传输。

• 基于不同的操作系统有不同的FTP应用程序，而所有这些应用程序都遵守同一种协议传输文件。

• FTP屏蔽了各计算机系统的细节，可以减小或消除在不同系统下处理文件的不兼容性，因而适合在不同操作系统之间传送文件。

• FTP只提供文件传送的一些基本服务，它使用TCP实现可靠传输。

b.FTP命令及状态码

常见命令:

• 在控制连接上发送ASCII文本
• USER username
• PASS password
• LIST:返回当前远程目录的文件列表
• RETR filename:获取远程主机当前目录下的1个文件(get)
• STOR filename:存放1个文 件到远程主机当前目录下(put)

常见应答:

• 状态码及其相应短语 (同 HTTP)
• 331 Username OK, password required
• 125 data connection already open; transfer starting
• 425 Can’t open data connection
• 452 Error writing file

c.FTP的主要功能

• 传输文件到远程主机/从远程主机下载文件
• 应用层模式：
• client/server模式
• client: 发起传输的一方
• server: 远程主机
• ftp: RFC 959
• ftp服务器: 端口号 21
• 和HTTP相比，FTP面向的直接是服务器的文件系统，并且具有维持状态的特点，在文件传输管理上，FTP更胜一筹。

d.FTP的工作过程

1. FTP客户首先发起建立1个与FTP服务器端口号21之间的TCP控制连接, 指定TCP作为传输层协议
2. 客户在建立的控制连接上获得身份认证
3. 客户在建立的控制连接上发送命令来浏览远程主机的目录.
4. 当服务器接收到1个文件传输命令时, 在服务器端口号20创建1个与客户的TCP数据连接1个文件传输后,服务器结束这个TCP数据连接.
5. 之后再次传输，服务器创建第2个TCP与客户的数据连接来传输下一个文件.

特点：

1. 控制连接: 带外发送控制信息（对比 HTTP 带内控制信息）

2. FTP 服务器要维护用户状态信息: 当前目录,先前的身份认证（对比HTTP的无状态连接）

e.TFTP协议

1）定义

TFTP(Trival File Transfer Protocal，简单文件传输协议），该协议在熟知端口69上使用UDP服务。TFTP协议常用于无盘工作站或路由器从别的主机上获取引导配置文件，由于TFTP报文比较小，能够迅速复制这些文件。

2）优点

• TFTP协议代码所占用的内存小，其对应的软件也很小。

• TFTP支持ASCII码或二进制传送。

3）TFTP协议与FTP协议

相同点

• TFTP协议的作用和我们经常使用的FTP大致相同，都是用于文件传输，可以实现网络中两台计算机之间的文件上传与下载。可以将TFTP协议看作是FTP协议的简化版本。

不同点

• TFTP协议不需要验证客户端的权限，FTP需要进行客户端验证；
• TFTP协议一般多用于局域网以及远程UNIX计算机中，而常见的FTP协议则多用于互联网中；
• FTP客户与服务器间的通信使用TCP，而TFTP客户与服务器间的通信使用的是UDP；
• TFTP只支持文件传输。也就是说，TFTP不支持交互，而且没有一个庞大的命令集。最为重要的是，TFTP不允许用户列出目录内容或者与服务器协商来决定哪些是可得到的文件。

7.应用层协议与应用层防火墙

应用层防火墙能够基于应用层协议客户端发送的请求（命令）来控制数据包是否允许被转发。

应用层防火墙通常称为高级防火墙。

8.DNS协议

a.DNS

DNS：domain name system 域名系统

作用：实现域名解析，即域名和Ip的映射解析。

b.为什么有DNS ？

1） 网络中的设备（设备接口）使用IP地址标识，但是IP难于记忆。

2） 使用域名可方便表示。

3） IP改变后，域名不变，仍可访问。

c.域名

DNS的名字空间（Name Space）为了保证主机名字的唯一性，给主机分配名字必须在名字空间中进行。名字空间可以按平面的和层次的两种方式进行组织。
通过特点比较，层次化结构更加方便管理以及更利于高效检索，所以我们的域名采用层次化结构。

DNS的域名空间（Domain Name Space）就是为定义层次域名而设计的。域名空间的结构是一颗倒置的树结构。域（Domain）是域名空间的一棵子树，每个域都有一个域名（Domain Name），域名就是各子树顶部节点的名字。域名通常由小圆点（.）分隔的标号序列。：

域名命名中，顶级域名早期有几种域名，例如常见的有：
com、edu、gov、int、mil、net和org，还有国家域，比如cn、jp、us等.

d.域名服务器：

因特网上的域名结构呈树状分布，因此，DNS服务器也是对应的树形结构，每一个DNS服务器能够提供部分域名(它管辖的域名)到IP地址的解析。主要有根域名服务器、顶级域名服务器、权限域名服务器。

e.域名解析方法

DNS，是完成域名解析的，域名解析的工作是由域名服务器来完成，根域名服务器在域名解析中具有重要地位。

域名解析的两种主要方法：

域名解析一般是自上而下进行的，从根域名服务器开始直到末端的域名服务器。在Internet中，域名解析一般采用递归解析和迭代解析两种方式进行。

递归解析：是最常见的由客户端发送到本地域名服务器的域名解析请求。当本地域名服务器接受了客户机的查询请求时，本地域名服务器将力图代表客户机来找到答案，而在域名服务器执行所有查询工作的时候，客户机只是处于等待状态，等待本地域名服务器给出所需的IP地址。

迭代解析：指当某域名服务器接收到域名解析请求时，如果本域名服务器中没有请求中所需的IP地址，则该域名服务器会指出下一步可查询的域名服务器IP地址，使其自己去向另一个域名服务器进行搜索。

通常情况下，主机向本地域名服务器的查询采用递归查询；本地域名服务器向根域名服务器的查询采用迭代查询。

f.域名解析命令：

nslookup

Windows系统下，使用nslookup命令查询当前本机解析域名所依赖的DNS服务器，即本地DNS服务器。

nslookup用于查询DNS的记录，查询域名解析是否正常，在网络故障时用来诊断网络问题.

一些常用的公开DNS服务器地址：