一、操作系统
前面说到一个完整的计算机系统是由硬件、操作系统、和应用程序构成。前面我们讲了硬件,下面来看一下操作系统。
1、为什么会有操作系统?
现代的计算机硬件主要是由一个或者多个处理器,主存,硬盘,键盘,鼠标,显示器,打印
构成,这意味着如果程序员要在这些硬件之上编写自己的程序,就需要全部了解底层硬件的工作机制后,再去编写程序。(这严重影响了程序员的开发效率:全部掌握这些细节可能需要一万年....)。
所以我们需要在硬件层上开发一个向下可以管理底层硬件,向上提供程序调用硬件、编程接口的中间层通用程序-----操作系统;
操作系统位于计算机硬件与应用软件之间,本质也是一个软件。操作系统由操作系统的内核(运行于内核态,管理硬件资源)以及系统调用(运行于用户态,为应用程序员写的应用程序提供系统调用接口)两部分组成,所以,单纯的说操作系统是运行于内核态的,是不准确的。
2、操作系统的作用
a.为应用程序提供如何使用硬件资源的抽象
例如:操作系统提供了文件系统,对文件的操作就是对磁盘的操作,有了文件系统我们无需再去考虑关于磁盘的读写控制。操作系统由不同功能的库文件(打印功能,计算功能)可以让编程人员调用。
b.管理硬件资源
同一台计算机上同时运行三个程序,它们三个想在同一时刻在同一台计算机上输出结果,那么开始的几行可能是程序1的输出,接着几行是程序2的输出,然后又是程序3的输出,最终将是一团糟(程序之间是一种互相竞争资源的过程)所以需要一个管理者从中管理协调;
二、网络基础
一台硬件设备有了操作系统开发了应用程序以后,还是无法和其他计算机共享、交流信息,于是将全球计算机连接起来的网络出现了。
由于网络将全球不计其数的计算机连接起来了,大家不能你说英语我说汉语各说各的所以网络需要一个统一的标准,这些标准就是互联网协议。来规范计算机如何接入internet,以及接入internet的计算机通信的标准,所以我们设计了网络模型。
0、OSI网络模型、TIP/IP协议簇
由于OSI七层网络通信模型主要用作科研、学习 ,而真实网络中使用的是TCP/IP五层网络模型,分别介绍一下TCP/IP五层网络模型;
1、物理层:
物理层由来:上面提到,孤立的计算机之间要想一起玩,必须完成组网,这就意味着需要使用物理介质将世界各地的计算机连接起来;(海底线缆、电缆、双绞线)
2、数据链路层
网络中传输的是0和1这没有任何意义,所以必须规定电信号多少位一组,每组什么意思?数据链路层的功能:定义了电信号的分组方式;
以太网协议:
早期的时候各个公司都有自己的分组方式,后来形成了统一的标准,即以太网协议ethernet
ethernet规定
- 一组电信号构成一个数据包,叫做‘帧’
- 每一数据帧分成:报头head和数据data两部分
head包含:(固定18个字节)
发送者/源地址,6个字节
接收者/目标地址,6个字节
数据类型,6个字节
data包含:(最短46字节,最长1500字节)
数据包的具体内容
head长度+data长度=最短64字节,最长1518字节,超过最大限制就分片发送
报头head 包含Mac地址
Mac地址:
head中包含的源和目标地址由来:ethernet规定接入internet的设备都必须具备网卡,发送端和接收端的地址便是指网卡的地址,即mac地址
mac地址:每块网卡出厂时都被烧制上一个世界唯一的mac地址,长度为48位2进制,通常由12位16进制数表示(前六位是厂商编号,后六位是流水线号)
广播:
有了mac地址,同一网络内的两台主机就可以通信了(一台主机通过arp协议获取另外一台主机的mac地址)
ethernet采用最原始的方式,广播的方式进行通信,即计算机通信基本靠吼
3.网络层
有了MAC地址、广播后我们的计算机就可以通信了,但是所有计算机通信都要广播的话就意味着P1和P2通信就需要广播给全世界的网络,这是绝对不允许的。所以网络层出现了。
IP协议:
规定网络地址的协议叫ip协议,它定义的地址称之为ip地址,广泛采用的v4版本即ipv4,它规定网络地址由32位2进制表示
范围0.0.0.0-255.255.255.255
一个ip地址通常写成四段十进制数,例:172.16.10.1
ip地址分成两部分
网络部分:标识子网
主机部分:标识主机
注意:单纯的ip地址段只是标识了ip地址的种类,从网络部分或主机部分都无法辨识一个ip所处的子网
例:172.16.10.1与172.16.10.2并不能确定二者处于同一子网
子网掩码 :有了IP地址和子网掩码就可以判断任意两个IP是否在同一网络,获得网络地址;
所谓”子网掩码”,就是表示子网络特征的一个参数。它在形式上等同于IP地址,也是一个32位二进制数字,它的网络部分全部为1,主机部分全部为0。比如,IP地址172.16.10.1,如果已知网络部分是前24位,主机部分是后8位,那么子网络掩码就是11111111.11111111.11111111.00000000,写成十进制就是255.255.255.0。
知道”子网掩码”,我们就能判断,任意两个IP地址是否处在同一个子网络。方法是将两个IP地址与子网掩码分别进行AND运算(两个数位都为1,运算结果为1,否则为0),然后比较结果是否相同,如果是的话,就表明它们在同一个子网络中,否则就不是。
比如,已知IP地址172.16.10.1和172.16.10.2的子网掩码都是255.255.255.0,请问它们是否在同一个子网络?两者与子网掩码分别进行AND运算,
172.16.10.1:10101100.00010000.00001010.000000001
255255.255.255.0:11111111.11111111.11111111.00000000
AND运算得网络地址结果:10101100.00010000.00001010.000000001->172.16.10.0
172.16.10.2:10101100.00010000.00001010.000000010
255255.255.255.0:11111111.11111111.11111111.00000000
AND运算得网络地址结果:10101100.00010000.00001010.000000001->172.16.10.0
结果都是172.16.10.0,因此它们在同一个子网络。
总结一下,IP协议的作用主要有两个,一个是为每一台计算机分配IP地址,另一个是确定哪些地址在同一个子网络。
ip数据包
ip数据包也分为head和data部分,无须为ip包定义单独的栏位,直接放入以太网包的data部分
head:长度为20到60字节
data:最长为65,515字节。
而以太网数据包的”数据”部分,最长只有1500字节。因此,如果IP数据包超过了1500字节,它就需要分割成几个以太网数据包,分开发送了。
以太网头 |
ip 头 |
ip数据 |
ARP协议
arp协议由来:计算机通信基本靠吼,即广播的方式,所有上层的包到最后都要封装上以太网头,然后通过以太网协议发送,在谈及以太网协议时候,我门了解到
通信是基于mac的广播方式实现,计算机在发包时,获取自身的mac是容易的,如何获取目标主机的mac,就需要通过arp协议
arp协议功能:广播的方式发送数据包,获取目标主机的mac地址
协议工作方式:每台主机ip都是已知的
例如:主机172.16.10.10/24访问172.16.10.11/24
一:首先通过ip地址和子网掩码区分出自己所处的子网
场景 |
数据包地址 |
同一子网 |
目标主机mac,目标主机ip |
不同子网 |
网关mac,目标主机ip |
二:分析172.16.10.10/24与172.16.10.11/24处于同一网络(如果不是同一网络,那么下表中目标ip为172.16.10.1,通过arp获取的是网关的mac)
|
源mac |
目标mac |
源ip |
目标ip |
数据部分 |
发送端主机 |
发送端mac |
FF:FF:FF:FF:FF:FF |
172.16.10.10/24 |
172.16.10.11/24 |
数据 |
三:这个包会以广播的方式在发送端所处的自网内传输,所有主机接收后拆开包,发现目标ip为自己的,就响应,返回自己的mac
4.传输层
传输层的由来:网络层的ip帮我们区分子网,以太网层的mac帮我们找到主机,然后大家使用的都是应用程序,你的电脑上可能同时开启qq,暴风影音,等多个应用程序,
那么我们通过ip和mac找到了一台特定的主机,如何标识这台主机上的应用程序,答案就是端口,端口即应用程序与网卡关联的编号。
传输层功能:建立端口到端口的通信
补充:端口范围0-65535,0-1023为系统占用端口
TCP协议:
可靠传输,TCP数据包没有长度限制,理论上可以无限长,但是为了保证网络的效率,通常TCP数据包的长度不会超过IP数据包的长度,以确保单个TCP数据包不必再分割。
以太网头 |
ip 头 |
tcp头 |
数据 |
udp协议:
不可靠传输,”报头”部分一共只有8个字节,总长度不超过65,535字节,正好放进一个IP数据包。
以太网头 |
ip头 |
udp头 |
数据 |
tcp报文
TCP3次握手和4次挥手(面试3板斧)
问题1:为什么TCP是安全的协议?
答:因为发送端应用层产生的数据 --》内存----》操作系统(把缓存中的数据取出来,进入内核态调用硬件网卡)----》 发送到接收端网卡,但是计算机的内存不是无限大的,需要定时清除一些数据,但是TCP传输必须等接收端回复1个ACK确认数据已经发送成功之后,操作系统才会删除缓存中的数据;
问题2:TCP为啥是4次挥手不是3次挥手?
因为TCP建立得是 全双工通道(客户端-------》服务端,服务端-------》客户端),如果一方传输完成,不能保证另一方的数据是否已经传输完毕?所以断开需要在双方数据都传输完毕的前提下进行;
问题3:TCP有啥缺陷吗?
当然啦,三次握手和四次挥手机制虽然增加了数据传输的安全性但浪费网络带宽、服务器资源、传输速度慢,另外TCP是流式传输不知道数据的起始位和结束位, 会出现粘包问题;
TCP传输状态:http://www.cnblogs.com/sunxucool/p/3449068.html
5.应用层
应用层由来:用户使用的都是应用程序,均工作于应用层,互联网是开发的,大家都可以开发自己的应用程序,数据多种多样,必须规定好数据的组织形式
应用层功能:规定应用程序的数据格式。
例:TCP协议可以为各种各样的程序传递数据,比如Email、WWW、FTP等等。那么,必须有不同协议规定电子邮件、网页、FTP数据的格式,这些应用程序协议就构成了”应用层”。
6.socket是什么?
socket 标识两个程序、抽象封装TCP/IP协议
我们知道两个进程如果需要进行通讯最基本的一个前提能能够唯一的标示一个进程,在本地进程通讯中我们可以使用PID来唯一标示一个进程,但PID只在本地唯一,网络中的两个进程PID冲突几率很大,这时候我们需要另辟它径了,我们知道IP层的ip地址可以唯一标示主机,而TCP层协议和端口号可以唯一标示主机的一个进程,这样我们可以利用ip地址+协议+端口号唯一标示网络中的一个进程。
能够唯一标示网络中的进程后,它们就可以利用socket进行通信了,什么是socket呢?我们经常把socket翻译为套接字,socket是在应用层和传输层之间的一个抽象层,它把TCP/IP层复杂的操作抽象为几个简单的接口供应用层调用已实现进程在网络中通信。
socket起源于UNIX,在Unix一切皆文件哲学的思想下,socket是一种"打开—读/写—关闭"模式的实现,服务器和客户端各自维护一个"文件",在建立连接打开后,可以向自己文件写入内容供对方读取或者读取对方内容,通讯结束时关闭文件。
7、网络通信实现要素
想实现网络通信,每台主机需具备四要素
本机的IP地址
子网掩码
网关的IP地址
DNS的IP地址
获取这四要素分两种方式
a.静态获取:即手动配置
b.动态获取:通过dhcp获取
以太网头ip头、udp头、dhcp数据包
(1)最前面的”以太网标头”,设置发出方(本机)的MAC地址和接收方(DHCP服务器)的MAC地址。前者就是本机网卡的MAC地址,后者这时不知道,就填入一个广播地址:FF-FF-FF-FF-FF-FF。
(2)后面的”IP标头”,设置发出方的IP地址和接收方的IP地址。这时,对于这两者,本机都不知道。于是,发出方的IP地址就设为0.0.0.0,接收方的IP地址设为255.255.255.255。
(3)最后的”UDP标头”,设置发出方的端口和接收方的端口。这一部分是DHCP协议规定好的,发出方是68端口,接收方是67端口。
这个数据包构造完成后,就可以发出了。以太网是广播发送,同一个子网络的每台计算机都收到了这个包。因为接收方的MAC地址是FF-FF-FF-FF-FF-FF,看不出是发给谁的,所以每台收到这个包的计算机,还必须分析这个包的IP地址,才能确定是不是发给自己的。当看到发出方IP地址是0.0.0.0,接收方是255.255.255.255,于是DHCP服务器知道”这个包是发给我的”,而其他计算机就可以丢弃这个包。
接下来,DHCP服务器读出这个包的数据内容,分配好IP地址,发送回去一个”DHCP响应”数据包。这个响应包的结构也是类似的,以太网标头的MAC地址是双方的网卡地址,IP标头的IP地址是DHCP服务器的IP地址(发出方)和255.255.255.255(接收方),UDP标头的端口是67(发出方)和68(接收方),分配给请求端的IP地址和本网络的具体参数则包含在Data部分。
新加入的计算机收到这个响应包,于是就知道了自己的IP地址、子网掩码、网关地址、DNS服务器等等参数
8、TCP/IP协议总结和扩展
小结
如果计算机想要通过网络通信,中间网络设备(交换机、路由器)和通信方必需同时遵循、运行TCP/IP协议;
物理层:网线连接各个网络设备,接收和发送一组组电信号;
数据链路层:把物理层传输的电信号 ,分组规定一组电信号为1个数据帧,分成报头和数据部分,数据链路层遵循以太网协议(所有网络设备必需有一块网卡,网卡必需有MAC地址),这样就可以基于广播的形式,把数据帧广播给同1局域网中的各个PC;
网络层:广播+MAC地址仅限于局域网通信,如果需要跨网络通信就必须需要网络层;网络层遵循IP协议,IP标识网络位置;IP地址+MAC地址就能找到全世界范围中1台机器;
传输层:基于端口工作遵循TCP/IP协议,规定应用层使用何种方式传输(TCP/UDP) IP+MAC+端口就能标识全世界范围内的唯一一台机器上的应用程序;
应用层:程序逻辑(HTTP浏览器,FTP、SMTP)
ps
全球为什么只有13台根服务器
当客户端发送的DNS查询报文,指定的DNS无法完成解析,该DNS会返回一个应答报文告诉客户端:我不知道怎么解析,你去问DNS根服务器吧。在这个应答报文里只能装下13台根服务器的信息。
参考:http://www.cnblogs.com/linhaifeng/articles/5937962.html