python网络编程

软件开发架构

既然谈起网络编程，就得说说软件开发的架构：

c/s架构

C/S结构软件（即客户机/服务器模式）分为客户机和服务器两层，客户机不是毫无运算能力的输入、输出设备，而是具有了一定的数据处理和数据存储能力，通过把应用软件的计算和数据合理地分配在客户机和服务器两端，可以有效地降低网络通信量和服务器运算量。由于服务器连接个数和数据通信量的限制，这种结构的软件适于在用户数目不多的局域网内使用。国内现阶段的大部分ERP（财务）软件产品即属于此类结构。

B/S架构

B/S(浏览器/服务器模式)是随着Internet技术的兴起，对C/S结构的一种改进。在这种结构下，软件应用的业务逻辑完全在应用服务器端实现，用户表现完全在Web服务器实现，客户端只需要浏览器即可进行业务处理，是一种全新的软件系统构造技术。这种结构更成为当今应用软件的首选体系结构。

计算机网络基础

计算机网络基础

网络编程的实质其实也就是应用程序间的通信，那么一个应用程序如何找到另外一个应用程序呢

这个就得提到IP地址与端口了，ip地址精确到具体的一台电脑，而端口精确到具体的程序。

如:一个应用程序的ip地址为：192.168.0.16端口为9662，那这个应用程序就可以通过192.168.0.16:9662这个标识来进行通信

IP地址是指互联网协议地址（英语：Internet Protocol Address，又译为网际协议地址），是IP Address的缩写。IP地址是IP协议提供的一种统一的地址格式，它为互联网上的每一个网络和每一台主机分配一个逻辑地址，以此来屏蔽物理地址的差异。

IP地址是一个32位的二进制数，通常被分割为4个“8位二进制数”（也就是4个字节）。IP地址通常用“点分十进制”表示成（a.b.c.d）的形式，其中，a,b,c,d都是0~255之间的十进制整数。例：点分十进IP地址（100.4.5.6），实际上是32位二进制数（01100100.00000100.00000101.00000110）。

"端口"是英文port的意译，可以认为是设备与外界通讯交流的出口。

 

 

socket编程

 

socket概念

Socket是应用层与TCP/IP协议族通信的中间软件抽象层，它是一组接口。在设计模式中，Socket其实就是一个门面模式，它把复杂的TCP/IP协议族隐藏在Socket接口后面，对用户来说，一组简单的接口就是全部，让Socket去组织数据，以符合指定的协议。

 

套接字的发展

1、基于文件类型的套接字家族：AF_UNIX

unix一切皆文件，基于文件的套接字调用的就是底层的文件系统来取数据，两个套接字进程运行在同一机器，可以通过访问同一个文件系统间接完成通信

 

2、基于网络类型的套接字家族：AF_INET

(还有AF_INET6被用于ipv6，还有一些其他的地址家族，不过，他们要么是只用于某个平台，要么就是已经被废弃，或者是很少被使用，或者是根本没有实现，所有地址家族中，AF_INET是使用最广泛的一个，python支持很多种地址家族，但是由于我们只关心网络编程，所以大部分时候我么只使用AF_INET)

 

tcp协议与udp协议

 

TCP（Transmission Control Protocol）可靠的、面向连接的协议（eg:打电话）、传输效率低全双工通信（发送缓存&接收缓存）、面向字节流。使用TCP的应用：Web浏览器；电子邮件、文件传输程序。

UDP（User Datagram Protocol）不可靠的、无连接的服务，传输效率高（发送前时延小），一对一、一对多、多对一、多对多、面向报文，尽最大努力服务，无拥塞控制。使用UDP的应用：域名系统 (DNS)；视频流；IP语音(VoIP)。

 

基于TCP协议的socket

 

Server端

import socket #导入socket模块

sk=socket.socket(type=socket.SOCK_STREAM)#创建socket对象，type关键字默认为socket.SOCK_STREAM

sk.bind(('127.0.0.1',8080))#服务端绑定IP与端口

sk.listen()#监听端口

conn,addr=sk.accept()#接受客户端连接

ret=conn.recv(1024)#接受客户端信息

print(ret)#打印客户端信息

conn.send(b'hello')#向客户端发送消息

conn.close()#关闭客户端套接字

sk.close()#关闭服务端套接字

Client端

import socket   #导入socket模块

sk=socket.socket(type=socket.SOCK_STREAM)

sk.connect(('127.0.0.1',8080))#连接服务器


sk.send(b'hi')#向服务端发送消息


ret=sk.recv(1024)#接收来自服务端消息

print(ret)#打印消息


sk.close()#关闭客户端连接

 

有的可能会报出一条：OSError：address already in use的错误

import socket #导入socket模块

sk=socket.socket(type=socket.SOCK_STREAM)#创建socket对象，type关键字默认为socket.SOCK_STREAM

sk.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)#加上这一句话就搞定了

sk.bind(('127.0.0.1',8080))#服务端绑定IP与端口

sk.listen()#监听端口

conn,addr=sk.accept()#接受客户端连接

ret=conn.recv(1024)#接受客户端信息

print(ret)#打印客户端信息

conn.send(b'hello')#向客户端发送消息

conn.close()#关闭客户端套接字

sk.close()#关闭服务端套接字

基于UDP协议的Socket

Server端

import socket #导入socket模块

sk=socket.socket(type=socket.SOCK_DGRAM)#创建socket对象，type关键字默认为socket.SOCK_STREAM

sk.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)

sk.bind(('127.0.0.1',8080))#服务端绑定IP与端口


msg,addr=sk.recvfrom(1024)#接受客户端信息

print(msg)#打印客户端信息

sk.sendto(b'hello',addr)#向客户端发送消息

sk.close()#关闭服务端套接字

Client端

import socket   #导入socket模块

sk=socket.socket(type=socket.SOCK_DGRAM)#指定type为socket.SOCK_DGRAM

ip_port=('127.0.0.1',8080)

sk.sendto(b'hi',ip_port)#向服务端发送消息


ret=sk.recv(1024)#接收来自服务端消息

print(ret)#打印消息


sk.close()#关闭客户端连接

 

自定义时间服务器

from socket import *
from time import strftime

ip_port = ('127.0.0.1', 9000)
bufsize = 1024

tcp_server = socket(AF_INET, SOCK_DGRAM)
tcp_server.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
tcp_server.bind(ip_port)

while True:
    msg, addr = tcp_server.recvfrom(bufsize)
    print('===>', msg)

    if not msg:
        time_fmt = '%Y-%m-%d %X'
    else:
        time_fmt = msg.decode('utf-8')
    back_msg = strftime(time_fmt)

    tcp_server.sendto(back_msg.encode('utf-8'), addr)

tcp_server.close()

from socket import *
ip_port=('127.0.0.1',9000)
bufsize=1024

tcp_client=socket(AF_INET,SOCK_DGRAM)



while True:
    msg=input('请输入时间格式(例%Y %m %d)>>: ').strip()
    tcp_client.sendto(msg.encode('utf-8'),ip_port)

    data=tcp_client.recv(bufsize)

 

关于socket（）参数

socket.socket(family=AF_INET,type=SOCK_STREAM,proto=0,fileno=None)

参数说明：

family	地址系列应为AF_INET(默认值),AF_INET6,AF_UNIX,AF_CAN或AF_RDS。 （AF_UNIX 域实际上是使用本地 socket 文件来通信）
type	套接字类型应为SOCK_STREAM(默认值),SOCK_DGRAM,SOCK_RAW或其他SOCK_常量之一。 SOCK_STREAM 是基于TCP的，有保障的（即能保证数据正确传送到对方）面向连接的SOCKET，多用于资料传送。  SOCK_DGRAM 是基于UDP的，无保障的面向消息的socket，多用于在网络上发广播信息。
proto	协议号通常为零,可以省略,或者在地址族为AF_CAN的情况下,协议应为CAN_RAW或CAN_BCM之一。
fileno	如果指定了fileno,则其他参数将被忽略,导致带有指定文件描述符的套接字返回。 与socket.fromfd()不同,fileno将返回相同的套接字,而不是重复的。 这可能有助于使用socket.close()关闭一个独立的插座。

 

 

 

 

 

 

 

 

 

 

 

 

TCP黏包现象

 

现象：发送方发送两个字符串”hello”+”world”，接收方却一次性接收到了”helloworld”

黏包成因

1、TCP的拆包机制

当发送端缓冲区的长度大于网卡的MTU时，tcp会将这次发送的数据拆成几个数据包发送出去。 
MTU是Maximum Transmission Unit的缩写。意思是网络上传送的最大数据包。MTU的单位是字节。 大部分网络设备的MTU都是1500。如果本机的MTU比网关的MTU大，大的数据包就会被拆开来传送，这样会产生很多数据包碎片，增加丢包率，降低网络速度。

2、面向流的通信特点和Nagle算法

TCP（transport control protocol，传输控制协议）是面向连接的，面向流的，提供高可靠性服务。
收发两端（客户端和服务器端）都要有一一成对的socket，因此，发送端为了将多个发往接收端的包，更有效的发到对方，使用了优化方法（Nagle算法），将多次间隔较小且数据量小的数据，合并成一个大的数据块，然后进行封包。
这样，接收端，就难于分辨出来了，必须提供科学的拆包机制。 即面向流的通信是无消息保护边界的。 
对于空消息：tcp是基于数据流的，于是收发的消息不能为空，这就需要在客户端和服务端都添加空消息的处理机制，防止程序卡住，而udp是基于数据报的，即便是你输入的是空内容（直接回车），也可以被发送，udp协议会帮你封装上消息头发送过去。 
可靠黏包的tcp协议：tcp的协议数据不会丢，没有收完包，下次接收，会继续上次继续接收，己端总是在收到ack时才会清除缓冲区内容。数据是可靠的，但是会粘包。

UDP不会发生黏包的原因

UDP（user datagram protocol，用户数据报协议）是无连接的，面向消息的，提供高效率服务。 
不会使用块的合并优化算法，, 由于UDP支持的是一对多的模式，所以接收端的skbuff(套接字缓冲区）采用了链式结构来记录每一个到达的UDP包，在每个UDP包中就有了消息头（消息来源地址，端口等信息），这样，对于接收端来说，就容易进行区分处理了。 即面向消息的通信是有消息保护边界的。 
对于空消息：tcp是基于数据流的，于是收发的消息不能为空，这就需要在客户端和服务端都添加空消息的处理机制，防止程序卡住，而udp是基于数据报的，即便是你输入的是空内容（直接回车），也可以被发送，udp协议会帮你封装上消息头发送过去。 
不可靠不黏包的udp协议：udp的recvfrom是阻塞的，一个recvfrom(x)必须对唯一一个sendinto(y),收完了x个字节的数据就算完成,若是y;x数据就丢失，这意味着udp根本不会粘包，但是会丢数据，不可靠。

会发生黏包的两种情况

1、发送方的缓存机制（即当发送方缓冲区满了之后消息才会发送，举例如下）：

import socket   #导入socket模块

sk=socket.socket(type=socket.SOCK_STREAM)#指定type为socket.SOCK_STREAM

ip_port=('127.0.0.1',8080)

sk.bind(ip_port)

sk.listen()

conn,addr=sk.accept()

ret=conn.recv(12)#接收来自服务端消息

print(ret)#打印消息

ret=conn.recv(12)

print(ret)

sk.close()#关闭客户端连接

import socket #导入socket模块

sk=socket.socket(type=socket.SOCK_STREAM)#创建socket对象，type关键字默认为socket.SOCK_STREAM

sk.connect(('127.0.0.1',8080))#服务端绑定IP与端口

sk.send(b'hello')
sk.send(b'world')

sk.close()#关闭服务端套接字

2、接受方的缓存机制（接收方不及时接收缓冲区的包，造成多个包接收，举例如下）：

import socket   #导入socket模块

sk=socket.socket(type=socket.SOCK_STREAM)#指定type为socket.SOCK_STREAM

ip_port=('127.0.0.1',8080)

sk.bind(ip_port)

sk.listen()

conn,addr=sk.accept()

ret=conn.recv(2)#接收来自服务端消息,一次未接收完整

print(ret)#打印消息

ret=conn.recv(12)

print(ret)

sk.close()#关闭客户端连接

import socket #导入socket模块

sk=socket.socket(type=socket.SOCK_STREAM)#创建socket对象，type关键字默认为socket.SOCK_STREAM

sk.connect(('127.0.0.1',8080))#服务端绑定IP与端口

sk.send(b'hello')
sk.send(b'world')

sk.close()#关闭服务端套接字

 

 

实际上，TCP黏包主要还是因为接收方不知道消息之间的界限，不知道一次性提取多少字节的数据所造成的

 

TCP黏包问题解决

struct模块

该模块可以把一个类型，如数字，转成固定长度的bytes

使用struct解决黏包

借助struct模块，我们知道长度数字可以被转换成一个标准大小的4字节数字。因此可以利用这个特点来预先发送数据长度。

发送：先发送struct转换好的数据长度4字节------------>发送数据

接收：先接受4个字节使用struct转换成数字来获取要接收的数据长度---------->接收数据

 

 

代码如下：

Server端

import socket,struct #导入socket，struct包

sk=socket.socket(type=socket.SOCK_STREAM)#指定type为socket.SOCK_STREAM

ip_port=('127.0.0.1',8080)

sk.bind(ip_port)

sk.listen()

conn,addr=sk.accept()

#接收消息
msg_len=conn.recv(4)##接收来自客户端消息长度信息

len=struct.unpack('i',msg_len)[0]#解包，提取长度

msg=conn.recv(len)
print(msg.decode('utf-8'))


#再一次接收消息
msg_len=conn.recv(4)#接收来自客户端消息长度信息

len=struct.unpack('i',msg_len)[0]#解包，提取长度

msg=conn.recv(len)
print(msg.decode('utf-8'))


sk.close()#关闭客户端连接

Client端

import socket,struct #导入socket，struct包

sk=socket.socket(type=socket.SOCK_STREAM)#创建socket对象，type关键字默认为socket.SOCK_STREAM

sk.connect(('127.0.0.1',8080))#服务端绑定IP与端口
msg1='hello'
msg2='world'

sk.send(struct.pack('i',len(msg1)))#首先发送要发送信息长度
sk.send(msg1.encode('utf-8'))#发送信息

sk.send(struct.pack('i',len(msg2)))#首先发送要发送信息长度
sk.send(msg2.encode('utf-8'))#发送信息

sk.close()#关闭服务端套接字

 

如果数据的长度未知，这种解决黏包的方式就会显现出来了