【Python之路Day9】网络篇之网络Socket
今日目录：
网络基础相关
socket
socketserver
一. 网络基础相关
1. TCP/IP协议
TCP/IP协议， 全称: Transmission control protocol and internet protocol, 即传输控制协议/ 网间协议
TCP/IP协议是主机接入互联网以及接入两台主机之间的通信标准。
从字面意思来看TCP/IP是TCP和IP协议的合称，但实际上TCP/IP协议是指因特网整个TCP/IP协议簇。不同于OSI模型的七个分层，TCP/IP协议参考模型把所有的TCP/IP系列协议归类到四个抽象层中。
- 应用层：TFTP，HTTP，SNMP，FTP，SMTP，DNS，Telnet 等等
- 传输层：TCP，UDP
- 网络层：IP，ICMP，OSPF，EIGRP，IGMP
- 数据链路层：SLIP，CSLIP，PPP，MTU
每一抽象层建立在低一层提供的服务上，并且为高一层提供服务，如下图：
2. OSI七层协议：
开放式系统互联通信参考模型（英语：Open System Interconnection Reference Model，缩写为 OSI），简称为OSI模型（OSI model）
OSI七层：(从上往下)
- 应用层
- 表示层
- 会话层
- 传输层：TCP、UDP、ICMP， port.协议+端口可以标示唯一一个应用程序
- 网络层：IP协议，找对方主机
- 链路层：分包、拆包，Ethernet协议， MAC地址(表示唯一一个主机)， 数据帧：包头(源MAC, 目标MAC,类型)+数据。通信是广播形式
- 物理层： 比特率，连接主机
二. Socket
socket通常也称作"套接字"，用于描述IP地址和端口，是一个通信链的句柄，应用程序通常通过"套接字"向网络发出请求或者应答网络请求。
socket起源于Unix，而Unix/Linux基本哲学之一就是“一切皆文件”，对于文件用【打开】【读写】【关闭】模式来操作。socket就是该模式的一个实现，socket即是一种特殊的文件，一些socket函数就是对其进行的操作（读/写IO、打开、关闭）
1. socket和file的区别
- file模块是针对某个指定文件进行【打开】【读写】【关闭】
- socket模块是针对 服务器端 和 客户端Socket 进行【打开】【读写】【关闭】
2、连接原理
根据连接启动的方式以及本地套接字要连接的目标，套接字之间的连接过程可以分为三个步骤：服务器监听，客户端请求，连接确认。
（1）服务器监听：是服务器端套接字并不定位具体的客户端套接字，而是处于等待连接的状态，实时监控网络状态。
（2）客户端请求：是指由客户端的套接字提出连接请求，要连接的目标是服务器端的套接字。为此，客户端的套接字必须首先描述它要连接的服务器的套接字，指出服务器端套接字的地址和端口号，然后就向服务器端套接字提出连接请求。
（3）连接确认：是指当服务器端套接字监听到或者说接收到客户端套接字的连接请求，它就响应客户端套接字的请求，建立一个新的线程，把服务器端套接字的描述发给客户端，一旦客户端确认了此描述，连接就建立好了。而服务器端套接字继续处于监听状态，继续接收其他客户端套接字的连接请求。
解释如下：
Socket层: 是一个抽象层，只负责处理，不负责发送数据
Server端：
- socket() 绑定协议
- bind() 绑定IP+Port
- Listen() 监听
- accept() 接受请求
- write() 发送消息
- read() 接受消息
- close() 关闭连接
Client：
- socket() 封装协议，客户端可以发送协议包
- connect() 连接
- write() 发送消息
- read() 接受消息
- close() 关闭连接
Socket中除了accept会阻塞， recv也会阻塞，如果没有消息发送给它，就会阻塞
实例一：
#!/bin/bin/env python3
# -*-coding:utf-8 -*-
# Author : DBQ(Du Baoqiang)
# 导入socket模块
import socket
# 创建连接对象
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 绑定ip及端口
s.bind(('127.0.0.1', 8001))
# 设置最大可以挂起的连接数
s.listen(5)
while True:
# 打印客户端连接后的界面
print('wating client connection.......')
# 客户连接阻塞（无客户连接时为阻塞状态）
connection, address = s.accept()
print('abc', connection)
print(address)
# 获取客户端传过来的数据(3.x版本之后接收的数据必须是bytes，之前的版本可以为str)
client_messge = connection.recv(1024)
print('接到客户端的信息：', client_messge)
# 给客户端发送数据(3.x版本之后发送的数据必须是bytes，之前的版本可以为str)
connection.sendall(bytes('hello client this server', 'utf-8'))
# 关闭当前客户连接
connection.close()#!/bin/bin/env python3
# -*-coding:utf-8 -*-
# Author : DBQ(Du Baoqiang)
# 导入模块
import socket
# 创建连接对象
client = socket.socket()
# 绑定ip及端口
client.connect(('127.0.0.1', 8001))
# 给服务端发送数据(3.x版本之后发送的数据必须是bytes，之前的版本可以为str)
client.sendall(bytes('say hello', 'utf-8'))
# 接收来息服务端的数据（3.x版本之后接收的数据必须是bytes，2.x可以直接发送字符串）
server_answer = client.recv(1024)
print('接收server端数据：', server_answer)
# 关闭当前客户端
client.close()
注意：
- 1. Socket中，Python3.5不能发送字符串，只能收发bytes(字节)，2.7可以收发字符串
- 2. 退出只在客户端退出就OK
- 3. s.accept() 和 s.recv() 是阻塞的(基于链接正常)
- 4. listen(n) N表示能挂起的连接数，如n=1，
- 表示能正常连接1个，阻塞一个，再来连接的话，会拒绝
- 阻塞的前提是链路两端建立连接的情况
3. 其他功能：
s = socket.socket(socket.AF_INET,socket.SOCK_STREAM,0)
参数一：地址簇
socket.AF_INET IPv4（默认）
socket.AF_INET6 IPv6
socket.AF_UNIX 只能够用于单一的Unix系统进程间通信
参数二：类型
socket.SOCK_STREAM 流式socket , for TCP （默认）
socket.SOCK_DGRAM 数据报式socket , for UDP
socket.SOCK_RAW 原始套接字，普通的套接字无法处理ICMP、IGMP等网络报文，而SOCK_RAW可以；其次，SOCK_RAW也可以处理特殊的IPv4报文；此外，利用原始套接字，可以通过IP_HDRINCL套接字选项由用户构造IP头。
socket.SOCK_RDM 是一种可靠的UDP形式，即保证交付数据报但不保证顺序。SOCK_RAM用来提供对原始协议的低级访问，在需要执行某些特殊操作时使用，如发送ICMP报文。SOCK_RAM通常仅限于高级用户或管理员运行的程序使用。
socket.SOCK_SEQPACKET 可靠的连续数据包服务
参数三：协议
0 （默认）与特定的地址家族相关的协议,如果是 0 ，则系统就会根据地址格式和套接类别,自动选择一个合适的协议#!/bin/bin/env python3
# -*-coding:utf-8 -*-
# Author : DBQ(Du Baoqiang)
# UDP Socket服务器
import socket
ip_port = ('127.0.0.1', 8002)
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM, 0)
s.bind(ip_port)
while True:
data = s.recv(1024)
print(data)#!/bin/bin/env python3
# -*-coding:utf-8 -*-
# Author : DBQ(Du Baoqiang)
# UDP 客户端
import socket
ip_port = ('127.0.0.1', 8001)
client = socket.socket(socket.AF_INET, socket.SOCK_DGRAM, 0)
while True:
enter = input('>>>: ').strip()
if enter == 'exit':
break
client.sendto(bytes(enter, encoding='utf8'), ip_port)
client.close()s.bind((address, port))
s.bind(address) 将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下，以元组（host,port）的形式表示地址。
s.listen(backlog)
开始监听传入连接。backlog指定在拒绝连接之前，可以挂起的最大连接数量。
backlog等于5，表示内核已经接到了连接请求，但服务器还没有调用accept进行处理的连接个数最大为5
这个值不能无限大，因为要在内核中维护连接队列
s.setblocking(bool)
是否阻塞（默认True），如果设置False，那么accept和recv时一旦无数据，则报错。
s.accept()
接受连接并返回（conn,address）,其中conn是新的套接字对象，可以用来接收和发送数据。address是连接客户端的地址。
接收TCP 客户的连接（阻塞式）等待连接的到来
s.connect(address)
连接到address处的套接字。一般，address的格式为元组（hostname,port）,如果连接出错，返回socket.error错误。
s.connect_ex(address)
同上，只不过会有返回值，连接成功时返回 0 ，连接失败时候返回编码，例如：10061
s.close()
关闭套接字
s.recv(bufsize[,flag])
接受套接字的数据。数据以字符串形式返回，bufsize指定最多可以接收的数量。flag提供有关消息的其他信息，通常可以忽略。
s.recvfrom(bufsize[.flag])
与recv()类似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。
s.send(string[,flag])
将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。即：可能未将指定内容全部发送。
s.sendall(string[,flag])
将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。
内部通过递归调用send，将所有内容发送出去。
s.sendto(string[,flag],address)
将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。
s.settimeout(timeout)
设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如 client 连接最多等待5s ）
s.getpeername()
返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。
s.getsockname()
返回套接字自己的地址。通常是一个元组(ipaddr,port)
s.fileno()
套接字的文件描述符
4. 实例，远程执行命令(类ssh)
#!/usr/bin/env python3
# -*- coding:utf-8 -*-
#Author: DBQ(Du Baoqiang)
import socket
import subprocess #导入执行命令模块
ip_port=('127.0.0.1',8001) #定义元祖
#买手机
s=socket.socket() #绑定协议，生成套接字
s.bind(ip_port) #绑定ip+协议+端口：用来唯一标识一个进程，ip_port必须是元组格式
s.listen(5) #定义最大可以挂起胡链接数
#等待电话
while True: #用来重复接收新的链接
conn,addr=s.accept() #接收客户端胡链接请求，返回conn（相当于一个特定胡链接），addr是客户端ip+port
#收消息
while True: #用来基于一个链接重复收发消息
try: #捕捉客户端异常关闭（ctrl+c）
recv_data=conn.recv(1024) #收消息，阻塞
if len(recv_data) == 0:break #客户端如果退出，服务端将收到空消息，退出
#发消息
p=subprocess.Popen(str(recv_data,encoding='utf8'),shell=True,stdout=subprocess.PIPE) #执行系统命令，windows平
# 台命令的标准输出是gbk编码，需要转换
res=p.stdout.read() #获取标准输出
if len(res) == 0: #执行错误命令，标准输出为空，
send_data='cmd err'
else:
send_data=str(res,encoding='gbk') #命令执行ok，字节gbk---->str---->字节utf-8
send_data=bytes(send_data,encoding='utf8')
#解决粘包问题
ready_tag='Ready|%s' %len(send_data)
conn.send(bytes(ready_tag,encoding='utf8')) #发送数据长度
feedback=conn.recv(1024) #接收确认信息
feedback=str(feedback,encoding='utf8')
if feedback.startswith('Start'):
conn.send(send_data) #发送命令的执行结果
except Exception:
break
#挂电话
conn.close()#!/usr/bin/env python3
# -*- coding:utf-8 -*-
#Author: DBQ(Du Baoqiang)
import socket
ip_port=('127.0.0.1',8001)
#买手机
s=socket.socket()
#拨号
s.connect(ip_port) #链接服务端，如果服务已经存在一个好的连接，那么挂起
while True: #基于connect建立的连接来循环发送消息
send_data=input(">>: ").strip()
if send_data == 'exit':break
if len(send_data) == 0:continue
s.send(bytes(send_data,encoding='utf8'))
#解决粘包问题
ready_tag=s.recv(1024) #收取带数据长度的字节：Ready|9998
ready_tag=str(ready_tag,encoding='utf8')
if ready_tag.startswith('Ready'):#Ready|9998
msg_size=int(ready_tag.split('|')[-1]) #获取待接收数据长度
start_tag='Start'
s.send(bytes(start_tag,encoding='utf8')) #发送确认信息
#基于已经收到的待接收数据长度，循环接收数据
recv_size=0
recv_msg=b''
while recv_size < msg_size:
recv_data=s.recv(1024)
recv_msg+=recv_data
recv_size+=len(recv_data)
print('MSG SIZE %s RECE SIZE %s' %(msg_size,recv_size))
print(str(recv_msg,encoding='utf8'))
#挂电话
s.close()
三. Socketserver
注意：在python3中都是小写了(socketserver)，在python2中写法是SocketServer
SocketServer内部使用 IO多路复用 以及 “多线程” 和 “多进程” ，从而实现并发处理多个客户端请求的Socket服务端。即：每个客户端请求连接到服务器时，Socket服务端都会在服务器是创建一个“线程”或者“进程” 专门负责处理当前客户端的所有请求。
所谓支持“多线程“，就是在python中socketserver提供了一个类的方法，把每个客户端都实例化成一个对象，如图：
socketserver:
- setup() 请求进来做一些初始化的工作
- handle() 要做所有的事情
- finish() 请求结束后要做的事情
ThreadingTCPServer实现的Soket服务器内部会为每个client创建一个 “线程”，该线程用来和客户端进行交互。
ThreadingTCPServer
使用ThreadingTCPServer:
创建一个继承自 SocketServer.BaseRequestHandler 的类
类中必须定义一个名称为 handle 的方法
启动ThreadingTCPServer
#!/usr/bin/env python3
# -*- coding:utf-8 -*-
#Author: DBQ(Du Baoqiang)
import subprocess
ip_port = ('127.0.0.1',8001)
class MyServer(socketserver.BaseRequestHandler):
def handle(self):
self.request.sendall(bytes("欢迎光临",encoding="utf-8"))
while True:
data=self.request.recv(1024)
if len(data) ==0:break
print("[%s] says:%s" %(self.client_address,data.decode()))
cmd= subprocess.Popen(data.decode(),shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
cmd_res=cmd.stdout.read()
if not cmd_res:
cmd_data=bytes(cmd.stderr.read())
if len(cmd_res)==0:
cmd_data=bytes("err cmd",encoding="utf8")
self.request.send(cmd_res)
if __name__=='__main__':
server=socketserver.ThreadingTCPServer(ip_port,MyServer)
server.serve_forever()#!/usr/bin/env python3
# -*- coding:utf-8 -*-
#Author: DBQ(Du Baoqiang)
import socket
ip_port = ('127.0.0.1',8001)
#买手机
s=socket.socket()
#拨号
s.connect(ip_port)
ww=s.recv(1024)
print("from server:",ww.decode())
#发送消息
while True:
send_data=input(">>>>:").strip()
if len(send_data) == 0:continue
s.send(bytes(send_data,encoding="utf-8"))
if send_data == "exit": break
#收消息
recv_data=s.recv(1024)
print(str(recv_data,encoding="utf-8"))
#挂电话
s.close()
