十六、网络编程
十六、网络编程
一、osi七层
1.osi七层协议:
每层运行的常见物理设备:
2.tcp/ip五层
我们将应用层,表示层,会话层并作应用层,从tcp/ip五层协议的角度来阐述每层的由来与功能,搞清楚了每层的主要协议,就理解了整个互联网通信的原理.
首先,用户感知到的只是最上面一层应用层,自上而下每层都依赖于下一层,所有我们从最下一层开始切入,比较好理解
每层都运行特定的协议,越往上越靠近用户,越往下越靠近硬件
第一层:物理层
物理层的由来,孤立的计算机之间要想一起玩,就必须接入Internet,言外之意就是计算机之间必须完成组网
物理层的功能:主要是基于电器特性发送高低电压(电信号),高电压对应数字1,低电压对应数字0
第二层:数据链路层
数据链路层的由来:单纯的电信号0和1没有任何意义,必须规定电信号多少位一组,每组什么意思
数据链路层的功能:定义电信号的分组方式
以太网协议:
早期的时候各个公司都有自己的分组方式,后来形成了统一的标准,即以太网协议Ethernet
mac地址:
head中包含的源和目标地址由来:Ethernet规定接入Internet的设备都必须具备网卡,发送端和接受端,地址便是指网卡上的地址,即Mac地址
Mac地址:每块网卡出厂时都被烧制上一个世界唯一的Mac地址,长度为48位2进制,通常由12为16进制数表示(前六位是厂商编号,后六位是流水线号)
广播:
有了Mac地址,同一网络内的两台主机就可以进行通信了
Ethernet采用最原始的方式,广播的方式进行通信,即计算机通信基本靠吼
第三层:网络层
网络层的由来:有了Ethernet,Mac地址,广播的发送方式,世界上的计算机就可以彼此通信了,问题是世界范围的互联网是由一个个彼此隔离的小局域网组成的,那么如果所有的通信都采用以太网的广播放手,那么一台计算机发送的数据帧全世界都会收到,这就不仅仅是效率低的问题了,这会是一种灾难
网络层的功能:引入一套新的地址用来区分不同的广播或和子网,这套地址即网络地址
IP协议:
规定网络地址的协议就叫IP协议,它定义的地址称之为IP地址,广泛采用的v4版本即IPv4,它规定网络地址由32位2进制表示
范围:0.0.0.0-255.255.255.255
IP地址分成两部分:
网络部分:标识子网
主机部分:标识主机
子网掩码:
所谓子网掩码就是表示网络特征的一个参数,它在形式上等同于IP地址,也是一个32位二进制数字,知道子网掩码我们就能判断任意两个IP地址是否处在同一个子网络.
IP数据包:
IP数据包也分为head和data部分,无需为IP包定义单独的栏位,直接放入以太网包的data部分
ARP协议:
ARP协议由来:计算机通信基本靠吼,即广播的方式,所有上层的包到最后都要分装上以太网头,然后通过以太网协议发送,在谈及以太网协议时候,我们了接到通信是基于Mac的广播方式实现,计算机在发包时,获取自身的Mac是容易的,如何获取目标主机的Mac地址,就需要通过ARP协议
ARP协议的功能:广播的方式发送数据包,获取目标主机的Mac地址
第四层:传输层
传输层的由来:网络层的IP帮我们区分子网,以太网层的Mac帮我们找到主机,然后大家使用的都是应用程序,你的电脑上可能同时开启qq,风暴影音,等多个应用程序,那么我们通过IP和Mac找到了一台特定的主机,如何标识这台主机上的应用程序,答案就是端口,端口即应用程序与网卡关联的编号
传输层的功能:建立端口到端口的通信
端口的范围:0-65535,0-1023为系统占用端口
标准的TCP三次握手过程如下：
- 客户端发送一个包含SYN标志的TCP报文，SYN即同步（Synchronize），同步报文会指明客户端使用的端口以及TCP连接的初始序号;
- 服务器在收到客户端的SYN报文后，将返回一个SYN ACK（即确认Acknowledgement）的报文，表示客户端的请求被接受，同时TCP初始序号自动加一。
- 客户端也返回一个确认报文ACK给服务器端，同样TCP序列号被加一。
经过这三步，TCP连接就建立完成。TCP协议为了实现可靠传输，在三次握手的过程中设置了一些异常处理机制。第三步中如果服务器没收到客户端的最终ACK确认报文，会一直处于SYN_RECV状态，将客户端IP加入等待列表，并重发第二步的SYN ACK报文。重发一般进行3-5次，大约间隔30秒左右轮询一次等待列表重试所有客户端。另一方面，服务器在自己发出了SYN ACK报文后，会预分配资源为即将建立的TCP连接储存信息做准备，这个资源在等待重试期间一直保留。更为重要的是，服务器资源有限，可以维护的SYN_RECV状态超过极限后就不再接受新的SYN报文，也就是拒绝新的TCP连接建立。
第五层:应用层
应用层的由来:用户使用的都是应用程序,均工作于应用层,互联网是开发的,大家都可以开发自己的应用程序,数据多种多样,必须规定好数据的组织形式
应用层的功能:规定应用层程序的数据格式
二、socket
1、什么是socket：
socket是应用层与TCP和IP协议族通信的中间软件抽象层,它是一组接口.在设计模式中,socket其实就是一个门面模式,它把复杂的TCP和IP协议族隐藏在socket接口后面,对用户来说,一组简单的接口就是全部,让socket去组织数据,以符合制定的协议
所以我们无需深入理解TCP和udp协议,socket已经为我们封装好了,我们只需要遵循socket的规定去编写程序,写出的程序自然就是遵循TCP和udp标准的
2、基于tcp的套接字
TCP是基于链接的,必须先启动服务端,然后再启动客户端去链接服务端
1 #tcp服务端 2 3 import socket 4 server_side=socket.socket() 5 server_address=('127.0.0.1',8080) 6 server_side.bind(server_address) 7 server_side.listen(5) 8 while True: 9 client,client_adrress=server_side.accept() 10 while True: 11 try: 12 msg=client.recv(1024) 13 print("客户端发来的消息是：",msg.decode("utf-8")) 14 while True: 15 msg=input('>>>>:') 16 client.send(msg.encode('utf-8')) 17 break 18 except Exception: 19 print('客服端异常关闭')
20 server_side.close() 21 client.close()
1 #tcp客户端 2 3 import socket 4 5 client=socket.socket() 6 client.connect(('127.0.0.1',8080)) 7 while True: 8 msg=input('>>>>:') 9 if msg =='q': 10 client.close() 11 break 12 client.send(msg.encode('utf-8')) 13 data=client.recv(1024) 14 print('服务端发来的消息:%s'%data.decode('utf-8'))
3、基于udp的套接字
udp是无连接的,先启动哪一端都不会报错
1 #udp服务端 2 3 import socket 4 5 udp_sever=socket.socket(type=socket.SOCK_DGRAM) 6 udp_sever.bind(('127.0.0.1',9090)) 7 while True: 8 data,addr=udp_sever.recvfrom(1024) 9 print(data.decode('utf-8')) 10 udp_sever.sendto(input('>>>>:').encode('utf-8'),addr)
1 #udp客户端 2 3 import socket 4 5 udp_client=socket.socket(type=socket.SOCK_DGRAM) 6 while True: 7 udp_client.sendto(input('>>>:').encode('utf-8'),('127.0.0.1',9090)) 8 data,addr=udp_client.recvfrom(1024) 9 print(data.decode('utf-8'))
三、粘包现象
1、什么是粘包：
须知：只有tcp有粘包现象，udp永远不会粘包
原因:所谓粘包问题主要还是因为接受方不知道消息之间的界限,不知道一次性提取多少字节的数据所造成的,
此外,发送方引起的粘包是由tcp协议本身造成的,tcp为提高传输效率,发送方往往要收集到足够多的数据后才会发送一个tcp段,若连续几次需要send的数据都很少,通常tcp会根据优化nagle算法把这些数据合成一个tcp段后一次发送出去,这样接收方就收到了粘包数据
两种情况下会发生粘包:
1.发送端需要等缓冲区满才发送出去,造成粘包(发送数据时间间隔很短,数据又很小,会合到一起,产生粘包)
2.接收方不及时接收缓冲区的包,造成多个包接收(客户端发送了一段数据,服务端只收了一小部分,服务端下次再收的时候还是从缓冲区拿上次遗留的数据,产生粘包)
拆包的发生情况:
当发送端缓冲区的长度大于网卡的mtu时,tcp会将这次发送的数据拆成几个数据包发送出去
2、解决粘包的方法
为字节流加上自定义固定长度的报头，报头中包含字节流长度，然后依次send到对端，对端有接收时，先从缓冲中取出定长的报头，然后再取真实数据
1 #自定义报头，服务端 2 3 import subprocess 4 import socket 5 import struct 6 import json 7 import hashlib 8 9 server=socket.socket() 10 server.bind(('127.0.0.1',9999)) 11 server.listen(5) 12 while True: 13 client,addr=server.accept() 14 print('client:',addr) 15 while True: 16 try: 17 msg=client.recv(1024).decode('utf-8') 18 if not msg: 19 client.close() 20 break 21 print('来自客户端的信息:%s'%msg) 22 res=subprocess.Popen(msg,shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE) 23 data1=res.stdout.read() 24 data2=res.stderr.read() 25 data=(data1+data2)#data为bytes 26 #获取发送数据的MD5 27 md5=hashlib.md5(data) 28 data_md5=md5.hexdigest() 29 #先发送文件的信息报头,包括文件的名字,文件的MD5,文件内容的长度 30 dic={'命令':msg,'MD5':data_md5,'total_size':len(data)} 31 #dic转字符串,传二进制 32 dic_str=json.dumps(dic) 33 dic_bytes=dic_str.encode('utf-8') 34 #计算报头的长度 35 head_len=len(dic_bytes) 36 #将报头的长度转成二进制 37 head_bytes=struct.pack('q',head_len) 38 client.send(head_bytes) 39 client.send(dic_bytes) 40 client.send(data) 41 42 except Exception: 43 print('客户端异常关闭') 44 break 45 server.close()
1 #自定义报头，客户端 2 3 import socket 4 import struct 5 import json 6 7 client=socket.socket() 8 client.connect(('127.0.0.1',9999)) 9 while True: 10 msg=input('>>>>:') 11 if not msg: 12 continue 13 if msg=='q': 14 print('已退出客户端') 15 client.close() 16 break 17 client.send(msg.encode('utf-8')) 18 head=client.recv(8) 19 #获取报头的长度 20 head_len=struct.unpack('q',head)[0] 21 #以报头长度获取报头数据 22 dic_bytes=client.recv(head_len) 23 dic=dic_bytes.decode('utf-8') 24 #dic字符串转字典 25 dic=json.loads(dic) 26 #打印报头信息 27 print(dic) 28 recv_len=0 29 finall_data=b'' 30 while recv_len<dic['total_size']: 31 data=client.recv(1024) 32 recv_len+=len(data) 33 finall_data+=data 34 print(finall_data.decode('gbk'))
