网络编程----socket介绍、基于tcp协议的套接字实现、基于udp协议的套接字实现
一、客户端/服务器架构(C/S架构)
即C/S架构,包括:
1.硬件C/S架构(打印机)
2.软件C/S架构(web服务)
美好的愿望:
最常用的软件服务器是 Web 服务器。一台机器里放一些网页或 Web 应用程序,然后启动 服务。这样的服务器的任务就是接受客户的请求,把网页发给客户(如用户计算机上的浏览器),然 后等待下一个客户请求。这些服务启动后的目标就是“永远运行下去”。虽然它们不可能实现这样的 目标,但只要没有关机或硬件出错等外力干扰,它们就能运行非常长的一段时间。
生活中的C/S架构:
老男孩是S端,所有的学员是C端
饭店是S端,所有的食客是C端
互联网中处处是C/S架构(黄色网站是服务端,你的浏览器是客户端;腾讯作为服务端为你提供视频,你得下个腾讯视频客户端才能看狗日的视频)
C/S架构与socket的关系:
我们学习socket就是为了完成C/S架构的开发
二、osi七层
为何学习socket一定要先学习互联网协议:
1.首先:本节课程的目标就是教会你如何基于socket编程,来开发一款自己的C/S架构软件
2.其次:C/S架构的软件(软件属于应用层)是基于网络进行通信的
3.然后:网络的核心即一堆协议,协议即标准,你想开发一款基于网络通信的软件,就必须遵循这些标准。
4.最后:就让我们从这些标准开始研究,开启我们的socket编程之旅
三、socket层
四、socket是什么
Socket是应用层与TCP/IP协议族通信的中间软件抽象层,它是一组接口。在设计模式中,Socket其实就是一个门面模式,它把复杂的TCP/IP协议族隐藏在Socket接口后面,对用户来说,一组简单的接口就是全部,让Socket去组织数据,以符合指定的协议。
所以,我们无需深入理解tcp/udp协议,socket已经为我们封装好了,我们只需要遵循socket的规定去编程,写出的程序自然就是遵循tcp/udp标准的。
也有人将socket说成ip+port,ip是用来标识互联网中的一台主机的位置,而port是用来标识这台机器上的一个应用程序,ip地址是配置到网卡上的,而port是应用程序开启的,ip与port的绑定就标识了互联网中独一无二的一个应用程序
而程序的pid是同一台机器上不同进程或者线程的标识
五、套接字发展史及分类
套接字起源于 20 世纪 70 年代加利福尼亚大学伯克利分校版本的 Unix,即人们所说的 BSD Unix。 因此,有时人们也把套接字称为“伯克利套接字”或“BSD 套接字”。一开始,套接字被设计用在同 一台主机上多个应用程序之间的通讯。这也被称进程间通讯,或 IPC。套接字有两种(或者称为有两个种族),分别是基于文件型的和基于网络型的。
基于文件类型的套接字家族
套接字家族的名字:AF_UNIX
unix一切皆文件,基于文件的套接字调用的就是底层的文件系统来取数据,两个套接字进程运行在同一机器,可以通过访问同一个文件系统间接完成通信
基于网络类型的套接字家族
套接字家族的名字:AF_INET
(还有AF_INET6被用于ipv6,还有一些其他的地址家族,不过,他们要么是只用于某个平台,要么就是已经被废弃,或者是很少被使用,或者是根本没有实现,所有地址家族中,AF_INET是使用最广泛的一个,python支持很多种地址家族,但是由于我们只关心网络编程,所以大部分时候我么只使用AF_INET)
六、套接字工作流程
一个生活中的场景。你要打电话给一个朋友,先拨号,朋友听到电话铃声后提起电话,这时你和你的朋友就建立起了连接,就可以讲话了。等交流结束,挂断电话结束此次交谈。 生活中的场景就解释了这工作原理,也许TCP/IP协议族就是诞生于生活中,这也不一定。
先从服务器端说起。服务器端先初始化Socket,然后与端口绑定(bind),对端口进行监听(listen),调用accept阻塞,等待客户端连接。在这时如果有个客户端初始化一个Socket,然后连接服务器(connect),如果连接成功,这时客户端与服务器端的连接就建立了。客户端发送数据请求,服务器端接收请求并处理请求,然后把回应数据发送给客户端,客户端读取数据,最后关闭连接,一次交互结束
socket()模块函数用法
1 import socket 2 socket.socket(socket_family,socket_type,protocal=0) 3 socket_family 可以是 AF_UNIX 或 AF_INET。socket_type 可以是 SOCK_STREAM 或 SOCK_DGRAM。protocol 一般不填,默认值为 0。 4 5 获取tcp/ip套接字 6 tcpSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 7 8 获取udp/ip套接字 9 udpSock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) 10 11 由于 socket 模块中有太多的属性。我们在这里破例使用了'from module import *'语句。使用 'from socket import *',我们就把 socket 模块里的所有属性都带到我们的命名空间里了,这样能 大幅减短我们的代码。 12 例如tcpSock = socket(AF_INET, SOCK_STREAM)
服务端套接字函数
s.bind() 绑定(主机,端口号)到套接字
s.listen() 开始TCP监听
s.accept() 被动接受TCP客户的连接,(阻塞式)等待连接的到来
客户端套接字函数
s.connect() 主动初始化TCP服务器连接
s.connect_ex() connect()函数的扩展版本,出错时返回出错码,而不是抛出异常
公共用途的套接字函数
s.recv() 接收TCP数据
s.send() 发送TCP数据(send在待发送数据量大于己端缓存区剩余空间时,数据丢失,不会发完)
s.sendall() 发送完整的TCP数据(本质就是循环调用send,sendall在待发送数据量大于己端缓存区剩余空间时,数据不丢失,循环调用send直到发完)
s.recvfrom() 接收UDP数据
s.sendto() 发送UDP数据
s.getpeername() 连接到当前套接字的远端的地址
s.getsockname() 当前套接字的地址
s.getsockopt() 返回指定套接字的参数
s.setsockopt() 设置指定套接字的参数
s.close() 关闭套接字
面向锁的套接字方法
s.setblocking() 设置套接字的阻塞与非阻塞模式
s.settimeout() 设置阻塞套接字操作的超时时间
s.gettimeout() 得到阻塞套接字操作的超时时间
面向文件的套接字的函数
s.fileno() 套接字的文件描述符
s.makefile() 创建一个与该套接字相关的文件
1 1:用打电话的流程快速描述socket通信 2 2:服务端和客户端加上基于一次链接的循环通信 3 3:客户端发送空,卡主,证明是从哪个位置卡的 4 服务端: 5 from socket import * 6 phone=socket(AF_INET,SOCK_STREAM) 7 phone.bind(('127.0.0.1',8081)) 8 phone.listen(5) 9 10 conn,addr=phone.accept() 11 while True: 12 data=conn.recv(1024) 13 print('server===>') 14 print(data) 15 conn.send(data.upper()) 16 conn.close() 17 phone.close() 18 客户端: 19 from socket import * 20 21 phone=socket(AF_INET,SOCK_STREAM) 22 phone.connect(('127.0.0.1',8081)) 23 24 while True: 25 msg=input('>>: ').strip() 26 phone.send(msg.encode('utf-8')) 27 print('client====>') 28 data=phone.recv(1024) 29 print(data) 30 31 说明卡的原因:缓冲区为空recv就卡住,引出原理图 32 33 34 35 4.演示客户端断开链接,服务端的情况,提供解决方法 36 37 5.演示服务端不能重复接受链接,而服务器都是正常运行不断来接受客户链接的 38 39 6:简单演示udp 40 服务端 41 from socket import * 42 phone=socket(AF_INET,SOCK_DGRAM) 43 phone.bind(('127.0.0.1',8082)) 44 while True: 45 msg,addr=phone.recvfrom(1024) 46 phone.sendto(msg.upper(),addr) 47 客户端 48 from socket import * 49 phone=socket(AF_INET,SOCK_DGRAM) 50 while True: 51 msg=input('>>: ') 52 phone.sendto(msg.encode('utf-8'),('127.0.0.1',8082)) 53 msg,addr=phone.recvfrom(1024) 54 print(msg) 55 56 udp客户端可以并发演示 57 udp客户端可以输入为空演示,说出recvfrom与recv的区别,暂且不提tcp流和udp报的概念,留到粘包去说 58 59 读者勿看:socket实验推演流程
七、基于tcp协议的套接字实现
tcp服务端
1 ss = socket() #创建服务器套接字 2 ss.bind() #把地址绑定到套接字 3 ss.listen() #监听链接 4 inf_loop: #服务器无限循环 5 cs = ss.accept() #接受客户端链接 6 comm_loop: #通讯循环 7 cs.recv()/cs.send() #对话(接收与发送) 8 cs.close() #关闭客户端套接字 9 ss.close() #关闭服务器套接字(可选)
tcp客户端
1 cs = socket() # 创建客户套接字 2 cs.connect() # 尝试连接服务器 3 comm_loop: # 通讯循环 4 cs.send()/cs.recv() # 对话(发送/接收) 5 cs.close() # 关闭客户套接字
socket通信流程与打电话流程类似,我们就以打电话为例来实现一个low版的套接字通信
1 #_*_coding:utf-8_*_ 2 __author__ = 'Linhaifeng' 3 import socket 4 ip_port=('127.0.0.1',9000) #电话卡 5 BUFSIZE=1024 #收发消息的尺寸 6 s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #买手机 7 s.bind(ip_port) #手机插卡 8 s.listen(5) #手机待机 9 10 11 conn,addr=s.accept() #手机接电话 12 # print(conn) 13 # print(addr) 14 print('接到来自%s的电话' %addr[0]) 15 16 msg=conn.recv(BUFSIZE) #听消息,听话 17 print(msg,type(msg)) 18 19 conn.send(msg.upper()) #发消息,说话 20 21 conn.close() #挂电话 22 23 s.close() #手机关机 24 25 服务端
1 #_*_coding:utf-8_*_ 2 __author__ = 'Linhaifeng' 3 import socket 4 ip_port=('127.0.0.1',9000) 5 BUFSIZE=1024 6 s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) 7 8 s.connect_ex(ip_port) #拨电话 9 10 s.send('linhaifeng nb'.encode('utf-8')) #发消息,说话(只能发送字节类型) 11 12 feedback=s.recv(BUFSIZE) #收消息,听话 13 print(feedback.decode('utf-8')) 14 15 s.close() #挂电话 16 17 客户端
上述流程的问题是,服务端只能接受一次链接,然后就彻底关闭掉了,实际情况应该是,服务端不断接受链接,然后循环通信,通信完毕后只关闭链接,服务器能够继续接收下一次链接,下面是修改版
1 #_*_coding:utf-8_*_ 2 __author__ = 'Linhaifeng' 3 import socket 4 ip_port=('127.0.0.1',8081)#电话卡 5 BUFSIZE=1024 6 s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #买手机 7 s.bind(ip_port) #手机插卡 8 s.listen(5) #手机待机 9 10 11 while True: #新增接收链接循环,可以不停的接电话 12 conn,addr=s.accept() #手机接电话 13 # print(conn) 14 # print(addr) 15 print('接到来自%s的电话' %addr[0]) 16 while True: #新增通信循环,可以不断的通信,收发消息 17 msg=conn.recv(BUFSIZE) #听消息,听话 18 19 # if len(msg) == 0:break #如果不加,那么正在链接的客户端突然断开,recv便不再阻塞,死循环发生 20 21 print(msg,type(msg)) 22 23 conn.send(msg.upper()) #发消息,说话 24 25 conn.close() #挂电话 26 27 s.close() #手机关机 28 29 服务端改进版
1 #_*_coding:utf-8_*_ 2 __author__ = 'Linhaifeng' 3 import socket 4 ip_port=('127.0.0.1',8081) 5 BUFSIZE=1024 6 s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) 7 8 s.connect_ex(ip_port) #拨电话 9 10 while True: #新增通信循环,客户端可以不断发收消息 11 msg=input('>>: ').strip() 12 if len(msg) == 0:continue 13 s.send(msg.encode('utf-8')) #发消息,说话(只能发送字节类型) 14 15 feedback=s.recv(BUFSIZE) #收消息,听话 16 print(feedback.decode('utf-8')) 17 18 s.close() #挂电话 19 20 客户端改进版
1 import socket 2 phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #买手机 3 phone.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) #就是它,在bind前加 4 phone.bind(('127.0.0.6',8080)) #绑定手机卡 服务端的IP地址和端口号 5 6 phone.listen(5) #开机 # 5可以接入的客户端数量 7 8 print('starting....') 9 while True: #链接循环 10 conn,addr=phone.accept() #等待电话链接 11 12 print('电话线路是',conn) 13 print('客户端的手机号是',addr) 14 15 while True: #通信循环 16 try: #应对windows系统 17 data=conn.recv(1024) #收消息 # 1024是接收的最大字节(其实要根据本机的内存大小来,太大没意义) 18 if not data:break #linux系统 19 print('客户端发来的消息是',data) 20 21 conn.send(data.upper()) 22 except Exception: 23 break 24 25 conn.close() 26 27 phone.close()
1 import socket 2 phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) 3 phone.connect(('127.0.0.6',8080)) 4 5 while True: #通信循环 6 msg=input('>>: ').strip() 7 if not msg:continue 8 phone.send(msg.encode('utf-8')) #客户端发送文件,编码格式为utf-8 9 # print('has send===========>') #测试程序是否运行到此,可以不用打印 10 data=phone.recv(1024) #接收服务端返回来的数据信息 11 # print('has recv===========>') #测试程序是否运行到此,可以不用打印 12 print(data) 13 14 phone.close()
问题:
有的童鞋在重启服务端时可能会遇到:
这个是由于你的服务端仍然存在四次挥手的time_wait状态在占用地址(如果不懂,请深入研究1.tcp三次握手,四次挥手 2.syn洪水攻击 3.服务器高并发情况下会有大量的time_wait状态的优化方法)
解决方法:
1 #加入一条socket配置,重用ip和端口 2 3 phone=socket(AF_INET,SOCK_STREAM) 4 phone.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #就是它,在bind前加 5 phone.bind(('127.0.0.1',8080))
1 发现系统存在大量TIME_WAIT状态的连接,通过调整linux内核参数解决, 2 vi /etc/sysctl.conf 3 4 编辑文件,加入以下内容: 5 net.ipv4.tcp_syncookies = 1 6 net.ipv4.tcp_tw_reuse = 1 7 net.ipv4.tcp_tw_recycle = 1 8 net.ipv4.tcp_fin_timeout = 30 9 10 然后执行 /sbin/sysctl -p 让参数生效。 11 12 net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击,默认为0,表示关闭; 13 14 net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭; 15 16 net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收,默认为0,表示关闭。 17 18 net.ipv4.tcp_fin_timeout 修改系統默认的 TIMEOUT 时间 19 20 方法二
使用面向对象方法实现socket连接互通:
1 import socketserver 2 3 class MyServer(socketserver.BaseRequestHandler): 4 def my_sendall(self,content): 5 content = bytes(content, encoding='utf-8') 6 self.request.sendall(content) 7 8 def my_recv(self): 9 recv_data = self.request.recv(1024) 10 data = recv_data.decode('utf-8') 11 return data 12 13 14 def handle(self): 15 self.my_sendall('welcome') 16 Flag = True 17 while Flag: 18 data = self.my_recv() 19 if data == 'exit': 20 Flag = False 21 self.finish() 22 else: 23 print(data) 24 content = '已经收到您的输入%(data)s'%{'data':data} 25 self.my_sendall(content) 26 27 if __name__ == '__main__': 28 server = socketserver.ThreadingTCPServer(('127.0.0.1',8009),MyServer) 29 server.serve_forever()
1 import socket 2 class MySocket: 3 def __init__(self): 4 ip_port = ('127.0.0.1',8009) 5 self.sk = socket.socket() 6 self.sk.connect(ip_port) 7 8 def my_recv(self): 9 recv_data = self.sk.recv(1024) 10 data = recv_data.decode('utf-8') 11 return data 12 13 def my_send(self,inp): 14 send_data = bytes(inp, encoding='utf-8') 15 self.sk.sendall(send_data) 16 17 def close(self): 18 self.sk.close() 19 20 21 sk = MySocket() 22 while True: 23 recv_data = sk.my_recv() 24 print('receive:',recv_data) 25 inp = input('please input:') 26 sk.my_send(inp) 27 28 if inp == 'exit': 29 break 30 sk.close()
八、基于udp协议的套接字实现
udp服务端
1 ss = socket() #创建一个服务器的套接字 2 ss.bind() #绑定服务器套接字 3 inf_loop: #服务器无限循环 4 cs = ss.recvfrom()/ss.sendto() # 对话(接收与发送) 5 ss.close() # 关闭服务器套接字
udp客户端
1 cs = socket() # 创建客户套接字 2 comm_loop: # 通讯循环 3 cs.sendto()/cs.recvfrom() # 对话(发送/接收) 4 cs.close() # 关闭客户套接字
udp套接字简单示例
1 #_*_coding:utf-8_*_ 2 __author__ = 'Linhaifeng' 3 import socket 4 ip_port=('127.0.0.1',9000) 5 BUFSIZE=1024 6 udp_server_client=socket.socket(socket.AF_INET,socket.SOCK_DGRAM) 7 8 udp_server_client.bind(ip_port) 9 10 while True: 11 msg,addr=udp_server_client.recvfrom(BUFSIZE) 12 print(msg,addr) 13 14 udp_server_client.sendto(msg.upper(),addr) 15 16 udp服务端
1 #_*_coding:utf-8_*_ 2 __author__ = 'Linhaifeng' 3 import socket 4 ip_port=('127.0.0.1',9000) 5 BUFSIZE=1024 6 udp_server_client=socket.socket(socket.AF_INET,socket.SOCK_DGRAM) 7 8 while True: 9 msg=input('>>: ').strip() 10 if not msg:continue 11 12 udp_server_client.sendto(msg.encode('utf-8'),ip_port) 13 14 back_msg,addr=udp_server_client.recvfrom(BUFSIZE) 15 print(back_msg.decode('utf-8'),addr) 16 17 udp客户端
qq聊天(由于udp无连接,所以可以同时多个客户端去跟服务端通信)
1 #_*_coding:utf-8_*_ 2 __author__ = 'Linhaifeng' 3 import socket 4 ip_port=('127.0.0.1',8081) 5 udp_server_sock=socket.socket(socket.AF_INET,socket.SOCK_DGRAM) #买手机 6 udp_server_sock.bind(ip_port) 7 8 while True: 9 qq_msg,addr=udp_server_sock.recvfrom(1024) 10 print('来自[%s:%s]的一条消息:\033[1;44m%s\033[0m' %(addr[0],addr[1],qq_msg.decode('utf-8'))) 11 back_msg=input('回复消息: ').strip() 12 13 udp_server_sock.sendto(back_msg.encode('utf-8'),addr) 14 15 udp服务端
1 #_*_coding:utf-8_*_ 2 __author__ = 'Linhaifeng' 3 import socket 4 BUFSIZE=1024 5 udp_client_socket=socket.socket(socket.AF_INET,socket.SOCK_DGRAM) 6 7 qq_name_dic={ 8 '狗哥alex':('127.0.0.1',8081), 9 '瞎驴':('127.0.0.1',8081), 10 '一棵树':('127.0.0.1',8081), 11 '武大郎':('127.0.0.1',8081), 12 } 13 14 15 while True: 16 qq_name=input('请选择聊天对象: ').strip() 17 while True: 18 msg=input('请输入消息,回车发送: ').strip() 19 if msg == 'quit':break 20 if not msg or not qq_name or qq_name not in qq_name_dic:continue 21 udp_client_socket.sendto(msg.encode('utf-8'),qq_name_dic[qq_name]) 22 23 back_msg,addr=udp_client_socket.recvfrom(BUFSIZE) 24 print('来自[%s:%s]的一条消息:\033[1;44m%s\033[0m' %(addr[0],addr[1],back_msg.decode('utf-8'))) 25 26 udp_client_socket.close() 27 28 udp客户端1
1 #_*_coding:utf-8_*_ 2 __author__ = 'Linhaifeng' 3 import socket 4 BUFSIZE=1024 5 udp_client_socket=socket.socket(socket.AF_INET,socket.SOCK_DGRAM) 6 7 qq_name_dic={ 8 '狗哥alex':('127.0.0.1',8081), 9 '瞎驴':('127.0.0.1',8081), 10 '一棵树':('127.0.0.1',8081), 11 '武大郎':('127.0.0.1',8081), 12 } 13 14 15 while True: 16 qq_name=input('请选择聊天对象: ').strip() 17 while True: 18 msg=input('请输入消息,回车发送: ').strip() 19 if msg == 'quit':break 20 if not msg or not qq_name or qq_name not in qq_name_dic:continue 21 udp_client_socket.sendto(msg.encode('utf-8'),qq_name_dic[qq_name]) 22 23 back_msg,addr=udp_client_socket.recvfrom(BUFSIZE) 24 print('来自[%s:%s]的一条消息:\033[1;44m%s\033[0m' %(addr[0],addr[1],back_msg.decode('utf-8'))) 25 26 udp_client_socket.close() 27 28 udp客户端2
时间服务器
1 #_*_coding:utf-8_*_ 2 __author__ = 'Linhaifeng' 3 from socket import * 4 from time import strftime 5 6 ip_port=('127.0.0.1',9000) 7 bufsize=1024 8 9 tcp_server=socket(AF_INET,SOCK_DGRAM) 10 tcp_server.bind(ip_port) 11 12 while True: 13 msg,addr=tcp_server.recvfrom(bufsize) 14 print('===>',msg) 15 16 if not msg: 17 time_fmt='%Y-%m-%d %X' 18 else: 19 time_fmt=msg.decode('utf-8') 20 back_msg=strftime(time_fmt) 21 22 tcp_server.sendto(back_msg.encode('utf-8'),addr) 23 24 tcp_server.close() 25 26 ntp服务端
1 #_*_coding:utf-8_*_ 2 __author__ = 'Linhaifeng' 3 from socket import * 4 ip_port=('127.0.0.1',9000) 5 bufsize=1024 6 7 tcp_client=socket(AF_INET,SOCK_DGRAM) 8 9 10 11 while True: 12 msg=input('请输入时间格式(例%Y %m %d)>>: ').strip() 13 tcp_client.sendto(msg.encode('utf-8'),ip_port) 14 15 data=tcp_client.recv(bufsize) 16 17 print(data.decode('utf-8')) 18 19 tcp_client.close() 20 21 ntp客户端
udp测试笔记:
#此测试的主要目的是验证udp协议发数据会丢包的问题,如下看到接收的字节设置为2,而客户端发送的hello为 # 5个字节,发送之后服务端只收到前2个字节,下一条消息同样也只收到前2个字节,那么剩下的没收到的字节数 # 据也就丢失了,但是测试时在windows系统是直接提醒报错的,但是linux系统是没有限制的 import socket udpserver=socket.socket(socket.AF_INET,socket.SOCK_DGRAM) udpserver.bind(('127.0.0.1',8080)) data,client_addr=udpserver.recvfrom(2) #这里的接收数据的大小设置为2个字节 print('======>',data.decode('utf-8')) data,client_addr=udpserver.recvfrom(2) print('======>',data.decode('utf-8'))
import socket udpclient=socket.socket(socket.AF_INET,socket.SOCK_DGRAM) server_ip_port=('127.0.0.1',8080) udpclient.sendto('hello'.encode('utf-8'),server_ip_port) #发送的hello为5个字节 udpclient.sendto('shibushiloule'.encode('utf-8'),server_ip_port)