【Day29 】Soket编程
- 客户端/服务器架构
1、什么是客户端服务器/服务器架构??
服务器:意义--就是一系列软硬件的结合,为一个或多个客户端提供服务。目的:接受请求并响应,然后处理更多请求。
客户端:发送请求,并接收信息,最后关闭他们之间的事务。
- osi七层协议
1、互联网层的协议分为osi七层tcp/ip五层或四层
每层运行常见物理设备
- 什么是网络?
网络是底层的物理链接介质
- 2.1 物理层
物理层功能:主要是基于电器特性发送高低电压(电信号),高电压对应数字1,低电压对应数字0
- 2.2数据链路层
其功能:定义了电信号的分组方式
以太网协议(ethernet)规定:
每一组数据包含head/data ,
head(18个字节):源地址6个,目标地址6个,数据类型6个
data(最小46,最大1500):数据包的具体内容
head + data 最大长度1518,最短长度64,超过长度分片发送
mac地址:每个电脑都有唯一的mac地址且与ip地址绑定
广播:有了mac地址,两台电脑可以通过arp协议进行通信,
enternet 采用广播方式通信,即基本靠吼
- 2.3 网络层
1、网络层的意义:用来区分不同的广播域/子网,即网络地址
2、规定网络地址的协议成为ip协议
一、ip地址分为:网络部分-->标识子网,主机部分--->标识主机
注意:单纯的ip地址段只是标识了ip地址的种类,从网络部分或主机部分都无法辨识一个ip所处的子网
例:172.16.10.1与172.16.10.2并不能确定二者处于同一子网
二、子网掩码(ip网络部分):
所谓”子网掩码”,就是表示子网络特征的一个参数。它在形式上等同于IP地址,也是一个32位二进制数字,它的网络部分全部为1, 主机部分全部为0。比如,IP地址172.16.10.1,如果已知网络部分是前24位,主机部分是后8位,那么子网络掩码就是 11111111.11111111.11111111.00000000,写成十进制就是255.255.255.0。
知道”子网掩码”,我们就能判断,任意两个IP地址是否处在同一个子网络。方法是将两个IP地址与子网掩码分别进行AND运算(两个 数位都为1,运算结果为1,否则为0),然后比较结果是否相同,如果是的话,就表明它们在同一个子网络中,否则就不是。
比如,已知IP地址172.16.10.1和172.16.10.2的子网掩码都是255.255.255.0,请问它们是否在同一个子网络?两者与子网掩码分别 进行AND运算,
172.16.10.1:10101100.00010000.00001010.000000001
255255.255.255.0:11111111.11111111.11111111.00000000
AND运算得网络地址结果:10101100.00010000.00001010.000000001->172.16.10.0
172.16.10.2:10101100.00010000.00001010.000000010
255255.255.255.0:11111111.11111111.11111111.00000000
AND运算得网络地址结果:10101100.00010000.00001010.000000001->172.16.10.0
结果都是172.16.10.0,因此它们在同一个子网络。
总结一下,IP协议的作用主要有两个,一个是为每一台计算机分配IP地址,另一个是确定哪些地址在同一个子网络。
三、ip数据包
ip数据包分为head,data部分,无须定义专门的栏目,直接放到以太网的data部分
ip数据包大小:
head:长度为20到60字节
data:最长为65,515字节。
以太网的数据包最大1500,如果ip数据包超过1500字节,就需要封装成几个以太网数据包分开发送
四、ARP协议
arp协议功能:广播的方式发送数据包,获取目标主机的mac地址
流程:如果两台电脑互相访问(172.168.0.2访问172.168.0.3):首先通过ip地址和子网掩码判断是否在同一子网——>如果在同一子网会以广播的方式在局域网内传播,---->如果不在同一子网会通过 数据包中的目标ip地址 和ARP协议获取网关的mac地址---然后在再子网内进行广播的方式发送,主机拆开包后,发现ip地址是自己的,就响应返回自己的mac地址
- 2.4 传输层
1.传输层的由来:网络层的ip帮我们区分子网,以太网层的mac帮我们找到主机,端口找到应用程序,端口即应用程序与网卡关联的编 号。
2.传输层功能:建立端口到端口的通信
3.ip 加mac + 端口 :标识唯一的软件
4.可靠传输,TCP数据包没有长度限制,理论上可以无限长,但是为了保证网络的效率,通常TCP数据包的长度不会超过IP数据包的长 度,以确保单个TCP数据包不必再分割。
- 2.5应用层
应用层由来:使用的程序都是应用层,各种应用程序规定好数据的组织形式
应用层的功能:规定应用层数据的格式
- soket
1.socket 是什么:soket 是应用层与Tcp/ip 通信的中间软件抽象层,他是一组接口
socket:绑定地址的时候,网端必须是整数,最好大于1024 ,小于65535
socket :进行传送时都是使用bytes类型
#服务端 import socket import time my_server = socket.socket(socket.AF_INET, socket.SOCK_STREAM) my_server.bind(('127.0.0.1',8080)) my_server.listen(5) tcp_sock, addr = my_server.accept() res1 = tcp_sock.recv(1) res2 = tcp_sock.recv(4)
print(res1) print(res2)
#客户端 import socket import time client = socket.socket(socket.AF_INET, socket.SOCK_STREAM) client.connect(('127.0.0.1', 8080)) client.send(bytes('hello','utf-8')) time.sleep(1) client.send(bytes('world','utf-8'))
以上两段代码:服务端的输出结果,
#服务端 b'h' b'ello'
原因为:客户端,发送完第一条信息(‘hello’)后,中间滞留一秒的时间。此时,这条信息已经通过tcp/ip协议传输到服务端电脑,服务端socket通过os.模块从内存中加读取刚刚传送过来的信息,由于服务端第一次只接收一个字节的信息,剩余的字节还停留在内存中,到了第二次接收的时候,才把内存中的信息读取完。
- 如何解决粘包问题
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
#客户端 import socket import json import subprocess import struct sock_server = socket.socket(socket.AF_INET, socket.SOCK_STREAM) sock_server.bind(('127.0.0.1',8080)) sock_server.listen(5) while True: conn, adrr = sock_server.accept() while True: try: cmd_data = conn.recv(1024) print(cmd_data) if not cmd_data: break cmd_data = cmd_data.decode("utf-8") sub_data = subprocess.Popen(cmd_data, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE) cmd_data_stdout = sub_data.stdout.read() cmd_data_stderr = sub_data.stderr.read() # heard_json = json.dumps(sub_data) # print(111) # heard_bytes = bytes(heard_json, 'utf-8') heard_len = struct.pack('i', len(cmd_data_stdout)+len(cmd_data_stderr)) conn.send(heard_len) conn.send(cmd_data_stdout+cmd_data_stderr) except ConnectionError: break conn.close() sock_server.close() # import socket import json import subprocess import struct sock_server = socket.socket(socket.AF_INET, socket.SOCK_STREAM) sock_server.bind(('127.0.0.1',8080)) sock_server.listen(5) while True: conn, adrr = sock_server.accept() while True: try: cmd_data = conn.recv(1024) print(cmd_data) if not cmd_data: break cmd_data = cmd_data.decode("utf-8") sub_data = subprocess.Popen(cmd_data, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE) cmd_data_stdout = sub_data.stdout.read() cmd_data_stderr = sub_data.stderr.read() # heard_json = json.dumps(sub_data) # print(111) # heard_bytes = bytes(heard_json, 'utf-8') heard_len = struct.pack('i', len(cmd_data_stdout)+len(cmd_data_stderr)) conn.send(heard_len) conn.send(cmd_data_stdout+cmd_data_stderr) except ConnectionError: break conn.close() sock_server.close() #服务端 import socket import json import struct cline = socket.socket(socket.AF_INET, socket.SOCK_STREAM) cline.connect(('127.0.0.1', 8080)) while True: user_input = input(">>>").strip() if not user_input: continue cline.send(bytes(user_input,"utf-8")) server_total = cline.recv(4) head_total_len = struct.unpack('i', server_total)[0] print(head_total_len) ser_how = 0 ser_data = b'' while ser_how < head_total_len: data = cline.recv(1024) ser_how += len(data) ser_data += data print(ser_how) print(ser_data.decode("gbk"))
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
#服务端 import socket import json import struct import subprocess import os import hashlib servers = socket.socket(socket.AF_INET, socket.SOCK_STREAM) servers.bind(('127.0.0.1',8080)) servers.listen(5) def get_func(filename): md5_hs = hashlib.md5() heard_total = {'filename':filename, "len_size":os.path.getsize(r"%s"%filename), "article_md5": md5_hs.hexdigest() } heard_json = json.dumps(heard_total) heard_bytes = heard_json.encode('utf-8') heard_size = struct.pack('i',len(heard_bytes)) conn.send(heard_size) conn.send(heard_bytes) with open(r"%s"% filename, 'rb')as f: for lien in f: md5_hs.update(lien) conn.send(lien) while True: conn, addr = servers.accept() while True: try: data = conn.recv(1024) if not data:break data_str = data.decode('utf-8') print(type(data_str)) cmd, filename = data_str.split() print(filename) if cmd == 'get': get_func(filename) except ConnectionError: break #客户端 import socket import struct import json import hashlib import time client = socket.socket(socket.AF_INET, socket.SOCK_STREAM) client.connect(('127.0.0.1',8080)) while True: user_input = input(">>>").strip() if not user_input:continue user_input = user_input.encode("utf-8") client.send(user_input) server_data = client.recv(4) heard_size = struct.unpack('i',server_data)[0] heard_bytes = client.recv(heard_size) heard_json = heard_bytes.decode("utf-8") heard_dic = json.loads(heard_json) print(heard_dic) file_size = heard_dic['len_size'] file_name = heard_dic['filename'] article_md5 = heard_dic['article_md5'] ser_size = 0 hash_obj = hashlib.md5() print(article_md5) print(hash_obj.hexdigest()) # while ser_size < file_size: # time.sleep(0.1) # char_num = ser_size//file_size # pre_str = '\r%s%%:%s'%(100,'|'*100)if ser_size == file_size else "\r%s%%:%s"%(char_num,"|"*char_num) # print(pre_str, end='', flush=True) with open(r'E:\资料\day30sokect粘包\to.avi','wb')as f: while ser_size < file_size: data = client.recv(1024) # print(data) hash_obj.update(data) f.write(data) ser_size += len(data)