网络编程-socket
本节内容:
![](https://images2015.cnblogs.com/blog/959846/201607/959846-20160708220318842-1306353483.png)
一:TCP/IP:Transmission Control Protocol/Internet Protocol 传输控制协议/因特网互联协议。即通讯协议。
是主机接入互联网以及互联网中两台主机通讯的标准。即通讯标准,这个标准即协议。
二:OSI七层介绍:
1:物理层是由电缆、双绞线等组成,通过发送电信号来表示传输的数据,比如说:强电信号表示1,低电信号表示0,也就是说在传输过程中A主机通过物理层给B主机传输一系列类似:0110100
2:链路层遵循以太网协议,把从网络层的数据包分割成可被物理层传输的帧,帧由报头、数据组成,数据由源地址、目标地址以及数据类型。数据部分最多为1500字节。通过mac地址在子网内广播找到具体的主机。
3:网络层:通过IP协议以及路由设备扩网找目标主机所处的网络。
4:传输层通过TCP UDP协议以及端口来唯一标识应用程序。
应用层、表示层、会话层统称为应用层。
比如一个走http协议的软件:应用层—>http数据包—>传输层—>tcp报头+http数据包—>网络层—>IP报头+tcp报头+http数据包—>链路层—Ethernet报头+IP报头+tcp报头+http数据包到达B主机在从物理层到应用层
层层解包。
5:常用软件的结构:
C/S即clent和server。
三:socket介绍
正因为recv()和accept()阻塞的作用,才使我们写程序的可以按照客户端发送 服务端等待接收。
socket不负责传输,负责输出是他封装的tcp/ip协议进行数据的传输。
1:服务端:首先通过socket模块的socket()绑定TCP、UDP协议,通过他进行传输。bind()绑定本机的端口和IP,该函数使用需要传入一个IP和PORT的元组。listen()函数表示可等待连接的数目。
accept()阻塞,等待客户端连接。
2:客户端,需要建立一个socket()对象,通过socket对象跟服务器端进行通讯。connect()是连接服务端,建立连接,参数为 服务端IP和服务端的端口。通过connect()跟服务端连接。
在socket编程中需要使用:
sk.send(string[,flag])
将string中的数据发送到连接的套接字。返回值是要发送的字节数量,该数量可能小于string的字节大小。即:可能未将指定内容全部发送。
sk.sendall(string[,flag])
将string中的数据发送到连接的套接字,但在返回之前会尝试发送所有数据。成功返回None,失败则抛出异常。
内部通过递归调用send,将所有内容发送出去。
需要使用sendall而不是send函数。
常用函数介绍:
sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM,0),这种写法是在2.7之前,现在默认socket.socket()默认绑定是tcp协议族。
参数一:地址簇
socket.AF_INET IPv4(默认)
socket.AF_INET6 IPv6
socket.AF_UNIX 只能够用于单一的Unix系统进程间通信
参数二:类型
socket.SOCK_STREAM 流式socket , for TCP (默认)
socket.SOCK_DGRAM 数据报式socket , for UDP
socket.SOCK_RAW 原始套接字,普通的套接字无法处理ICMP、IGMP等网络报文,而SOCK_RAW可以;其次,SOCK_RAW也可以处理特殊的IPv4报文;此外,利用原始套接字,可以通过IP_HDRINCL套接字选项由用户构造IP头。
socket.SOCK_RDM 是一种可靠的UDP形式,即保证交付数据报但不保证顺序。SOCK_RAM用来提供对原始协议的低级访问,在需要执行某些特殊操作时使用,如发送ICMP报文。SOCK_RAM通常仅限于高级用户或管理员运行的程序使用。
socket.SOCK_SEQPACKET 可靠的连续数据包服务
参数三:协议
0 (默认)与特定的地址家族相关的协议,如果是 0 ,则系统就会根据地址格式和套接类别,自动选择一个合适的协议
UDP Demo
sk.bind(address)
s.bind(address) 将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下,以元组(host,port)的形式表示地址。
sk.listen(backlog)
开始监听传入连接。backlog指定在拒绝连接之前,可以挂起的最大连接数量。
backlog等于5,表示内核已经接到了连接请求,但服务器还没有调用accept进行处理的连接个数最大为5
这个值不能无限大,因为要在内核中维护连接队列
sk.setblocking(bool)
是否阻塞(默认True),如果设置False,那么accept和recv时一旦无数据,则报错。
sk.accept()
接受连接并返回(conn,address),其中conn是新的套接字对象,可以用来接收和发送数据。address是连接客户端的地址。
接收TCP 客户的连接(阻塞式)等待连接的到来
sk.connect(address)
连接到address处的套接字。一般,address的格式为元组(hostname,port),如果连接出错,返回socket.error错误。
sk.connect_ex(address)
同上,只不过会有返回值,连接成功时返回 0 ,连接失败时候返回编码,例如:10061
sk.close()
关闭套接字
sk.recv(bufsize[,flag])
接受套接字的数据。数据以字符串形式返回,bufsize指定最多可以接收的数量。flag提供有关消息的其他信息,通常可以忽略。
sk.recvfrom(bufsize[.flag])
与recv()类似,但返回值是(data,address)。其中data是包含接收数据的字符串,address是发送数据的套接字地址。
sk.send(string[,flag])
将string中的数据发送到连接的套接字。返回值是要发送的字节数量,该数量可能小于string的字节大小。即:可能未将指定内容全部发送。
sk.sendall(string[,flag])
将string中的数据发送到连接的套接字,但在返回之前会尝试发送所有数据。成功返回None,失败则抛出异常。
内部通过递归调用send,将所有内容发送出去。
sk.sendto(string[,flag],address)
将数据发送到套接字,address是形式为(ipaddr,port)的元组,指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。
sk.settimeout(timeout)
设置套接字操作的超时期,timeout是一个浮点数,单位是秒。值为None表示没有超时期。一般,超时期应该在刚创建套接字时设置,因为它们可能用于连接的操作(如 client 连接最多等待5s )
sk.getpeername()
返回连接套接字的远程地址。返回值通常是元组(ipaddr,port)。
sk.getsockname()
返回套接字自己的地址。通常是一个元组(ipaddr,port)
sk.fileno()
b:简单的交互:
客户端:
1 import socket 2 S=socket.socket()#创建一个socket对象,在python3中默认绑定TCP协议。 3 BUF_SIZ=1024#接收数据的大小,单位字节。 4 IP_PORT=('127.0.0.01',4567)#服务端IP和端口。 5 S.connect(IP_PORT)#建立连接。 6 S.send(bytes('ok',encoding='utf=-8'))#发送数据,注意在python3中传输的只能是字节2.7以前可以传输字符串。 7 REV_DATA=S.recv(BUF_SIZ).decode()#接收数据, 8 print(REV_DATA)#输出数据。 9 S.close()#关闭连接。
服务端:
import socket S=socket.socket()#创建一个socket()对象,默认绑定是tcp协议。 IP_PORT=('0.0.0.0',4567)#监听端口 S.bind(IP_PORT)#绑定端口。 S.listen(4)#可排队连接数目。 conn,addres=S.accept()#接收客户端socket对象,并通过conn跟客户端建立连接并进行通信。addres远程客户端的IP地址以及端口号。 REV_DATA=conn.recv(1024).decode()#接收数据。 print(REV_DATA)#输出数据。 conn.send(bytes('OK',encoding='utf-8'))#发送数据。
c: 服务端持续接收连接。
1 import socket 2 S=socket.socket() 3 IP_PORT=('0.0.0.0',4567) 4 S.bind(IP_PORT) 5 S.listen(4) 6 while True: 7 conn,addres=S.accept() 8 while True: 9 REV_DATA=conn.recv(1024).decode() 10 print(REV_DATA) 11 conn.send(bytes(REV_DATA,encoding='utf-8'))
客户端:
1 import socket 2 S=socket.socket() 3 BUF_SIZ=1024 4 IP_PORT=('127.0.0.01',4567) 5 S.connect(IP_PORT) 6 while True: 7 SEND_DATA=input('Entre send data >:') 8 S.send(bytes(SEND_DATA,encoding='utf=-8')) 9 REV_DATA=S.recv(BUF_SIZ).decode() 10 print(REV_DATA) 11 S.close()
d:客户端断开,服务端不断开,可以持续接收请求:
服务端:
1 import socket 2 S=socket.socket() 3 IP_PORT=('0.0.0.0',4567) 4 S.bind(IP_PORT) 5 S.listen(4) 6 while True: 7 conn,addres=S.accept() 8 while True: 9 try: 10 REV_DATA=conn.recv(1024).decode() 11 print(REV_DATA) 12 conn.send(bytes(REV_DATA,encoding='utf-8')) 13 except ConnectionResetError as e: 14 break
客户端:
1 import socket 2 S=socket.socket() 3 BUF_SIZ=1024 4 IP_PORT=('127.0.0.01',4567) 5 S.connect(IP_PORT) 6 while True: 7 SEND_DATA=input('Entre send data >:') 8 S.send(bytes(SEND_DATA,encoding='utf=-8')) 9 REV_DATA=S.recv(BUF_SIZ).decode() 10 print(REV_DATA) 11 S.close()
e:模拟ssh隧道:
1 import socket 2 import subprocess 3 S=socket.socket() 4 IP_PORT=('0.0.0.0',4567) 5 S.bind(IP_PORT) 6 S.listen(4) 7 while True: 8 conn,addres=S.accept() 9 while True: 10 try: 11 REV_DATA=conn.recv(1024).decode() 12 p=subprocess.Popen(REV_DATA,shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)##接收命令。 13 SEND_DATA=p.stdout.read() 14 ERROR=p.stderr.read() 15 if not SEND_DATA:##注意当命令不存在的时候,error有值。send_data重新赋值导致不为0,所以下面条件不走。而当命令没有输出的时候,标准输出和错误都为0,第2个条件肯定走。 16 SEND_DATA=ERROR 17 if len(SEND_DATA)==0: 18 print(SEND_DATA) 19 SEND_DATA='command has no ouput!' 20 conn.send(bytes(SEND_DATA,encoding='utf-8')) 21 continue 22 SEND_DATA=str(SEND_DATA,encoding='gbk') 23 print(REV_DATA) 24 conn.send(bytes(SEND_DATA,encoding='utf-8')) 25 except ConnectionResetError as e: 26 break
客户端:
1 import socket 2 S=socket.socket() 3 BUF_SIZ=1024 4 IP_PORT=('127.0.0.01',4567) 5 S.connect(IP_PORT) 6 while True: 7 SEND_DATA=input('Entre send data >:') 8 S.send(bytes(SEND_DATA,encoding='utf=-8')) 9 REV_DATA=S.recv(BUF_SIZ).decode() 10 print(REV_DATA) 11 S.close()
f:黏包问题:上面客户端和服务端只是接收简单的字符而且小于接收的大小1024字节,如果发送的数据超过1024字节的时候会出现黏包现象,导致收数据的时候内容有可能是上次未接收的数据。
解决方法:在发送的时候,告诉对端发送的多少字节既可解决黏包问题。
服务端:
1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 import socket 4 import subprocess #导入执行命令模块 5 ip_port=('127.0.0.1',7777) #定义元祖 6 s=socket.socket() #绑定协议,生成套接字 7 s.bind(ip_port) #绑定ip+协议+端口:用来唯一标识一个进程,ip_port必须是元组格式 8 s.listen(5) #定义最大可以挂起的链接数 9 while True: #用来重复接收新的链接 10 conn,addr=s.accept() #接收客户端胡链接请求,返回conn(相当于一个特定胡链接),addr是客户端ip+port 11 #收消息 12 while True: #用来基于一个链接重复收发消息 13 try: #捕捉客户端异常关闭(ctrl+c) 14 recv_data=conn.recv(1024) #收消息,阻塞 15 if len(recv_data) == 0:break #客户端如果退出,服务端将收到空消息,退出 16 17 #发消息 18 p=subprocess.Popen(str(recv_data,encoding='utf8'),shell=True,stdout=subprocess.PIPE) #执行系统命令,windows平 19 # 台命令的标准输出是gbk编码,需要转换 20 res=p.stdout.read() #获取标准输出 21 if len(res) == 0: #执行错误命令,标准输出为空, 22 send_data='cmd err' 23 else: 24 send_data=str(res,encoding='gbk') #命令执行ok,字节gbk---->str---->字节utf-8 25 26 send_data=bytes(send_data,encoding='utf8') 27 28 29 #解决粘包问题 30 ready_tag='Ready|%s' %len(send_data) 31 conn.send(bytes(ready_tag,encoding='utf8')) #发送数据长度 32 feedback=conn.recv(1024) #接收确认信息 33 feedback=str(feedback,encoding='utf8') 34 35 if feedback.startswith('Start'): 36 conn.send(send_data) #发送命令的执行结果 37 except Exception: 38 break 39 40 conn.close()
客户端:
1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*-
4 import socket 5 ip_port=('0.0.0.0',7777) 7 s=socket.socket 8 9 s.connect(ip_port) #链接服务端,如果服务已经存在一个好的连接,那么挂起 10 11 while True: #基于connect建立的连接来循环发送消息 12 send_data=input(">>: ").strip() 13 if send_data == 'exit':break 14 if len(send_data) == 0:continue 15 s.send(bytes(send_data,encoding='utf8')) 16 17 #解决粘包问题 18 ready_tag=s.recv(1024) #收取带数据长度的字节。 19 ready_tag=str(ready_tag,encoding='utf8') 20 if ready_tag.startswith('Ready'):#Ready|9998 21 msg_size=int(ready_tag.split('|')[-1]) #获取待接收数据长度 22 start_tag='Start' 23 s.send(bytes(start_tag,encoding='utf8')) #发送确认信息 24 25 #基于已经收到的待接收数据长度,循环接收数据 26 recv_size=0 27 recv_msg=b'' 28 while recv_size < msg_size: 29 recv_data=s.recv(1024) 30 recv_msg+=recv_data 31 recv_size+=len(recv_data) 32 print('MSG SIZE %s RECE SIZE %s' %(msg_size,recv_size)) 33 34 print(str(recv_msg,encoding='utf8')) 35 36 s.close()
四:socketserver 模块介绍:
SocketServer内部使用 IO多路复用 以及 “多线程” 和 “多进程” ,从而实现并发处理多个客户端请求的Socket服务端。即:每个客户端请求连接到服务器时,Socket服务端都会在服务器是创建一个“线程”或者“进程” 专门负责处理当前客户端的所有请求。
1 import socketserver 2 import subprocess 3 class MyServer(socketserver.BaseRequestHandler): 4 def handle(self): 5 # print self.request,self.client_address,self.server 6 self.request.sendall(bytes('欢迎致电 10086,请输入1xxx,0转人工服务.',encoding="utf-8")) 7 while True: 8 data = self.request.recv(1024) 9 if len(data) == 0:break 10 print("[%s] says:%s" % (self.client_address,data.decode() )) 11 #self.request.sendall(data.upper()) 12 cmd = subprocess.Popen(data.decode(),shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE) 13 cmd_res =cmd.stdout.read() 14 if not cmd_res: 15 cmd_res = cmd.stderr.read() 16 if len(cmd_res) == 0: #cmd has not output 17 cmd_res = bytes("cmd has output",encoding="utf-8") 18 self.request.send(cmd_res ) 19 20 if __name__ == '__main__': 21 server = socketserver.ThreadingTCPServer(('0.0.0.0', 8009), MyServer)###‘0.0.0.0’表示服务器所有网卡都进行监听。 22 server.serve_forever()
在类中必须定义一个函数handle.
第3行:继承socketserver.BaseRequestHandler类中,该类中自动执行函数handle函数,在类中该函数未定义。也就是自动执行我们自定义类Myserver中的handle()函数。
![](https://images2015.cnblogs.com/blog/959846/201607/959846-20160708214513342-1797538122.png)
21:在我们定义的类Myserver当做实参传入ThreadingTCPServer中。
在BaseServer类中需要传入RequestHandlerClass
22:server.serve_forever()表示永远运行下去。
多并发处理客户端请求。
服务器端:
1 import socketserver 2 3 class MyServer(socketserver.BaseRequestHandler): 4 def handle(self): 5 # print self.request,self.client_address,self.server 6 self.request.sendall(bytes('welcome to socketserver.',encoding="utf-8")) 7 while True: 8 data = self.request.recv(1024) 9 print("-->",len(data)) 10 if len(data) == 0:break 11 print("[%s] says:%s" % (self.client_address,data.decode() )) 12 self.request.sendall(data.upper()) 13 14 if __name__ == '__main__': 15 server = socketserver.ThreadingTCPServer(('127.0.0.1',8009),MyServer) 16 server.serve_forever()
客户端:
1 import socket 2 ip_port=('192.168.11.58',8009) 3 4 s=socket.socket() 5 6 s.connect(ip_port) 7 8 welcome_msg = s.recv(1024) 9 print("from server:",welcome_msg.decode()) 10 while True: 11 send_data=input(">>: ").strip() 12 if len(send_data) == 0:continue 13 s.send(bytes(send_data,encoding='utf8')) 14 15 recv_data=s.recv(1024) 16 print(str(recv_data,encoding='utf8')) 17 18 s.close()