Python基础之网络编程之Socket

一、Socket简介：

Socket是网络编程的一个抽象的概念。

　　通常我们用一个Socket表示“打开了一个网络链接”，而打开一个Socket需要知道目标计算机的IP地址和端口号，再指定协议类型即可。

套接字分类

　　套接字起源于 20 世纪 70 年代加利福尼亚大学伯克利分校版本的 Unix,即人们所说的 BSD Unix。 因此,有时人们也把套接字称为“伯克利套接字”或“BSD 套接字”。一开始,套接字被设计用在同 一台主机上多个应用程序之间的通讯。这也被称进程间通讯,或 IPC。套接字有两种（或者称为有两个种族）,分别是基于文件型的和基于网络型的。 

基于文件类型的套接字家族

　　套接字家族的名字：AF_UNIX

　　unix一切皆文件，基于文件的套接字调用的就是底层的文件系统来取数据，两个套接字进程运行在同一机器，可以通过访问同一个文件系统间接完成通信

基于网络类型的套接字家族

　　套接字家族的名字：AF_INET(还有AF_INET6被用于ipv6，还有一些其他的地址家族，不过，他们要么是只用于某个平台，要么就是已经被废弃，或者是很少被使用，或者是根本没有实现，所有地址家族中，AF_INET是使用最广泛的一个，python支持很多种地址家族，但是由于我们只关心网络编程，所以大部分时候我么只使用AF_INET)

socket 流程阐述：

　　先从服务器端说起。服务器端先初始化Socket，然后与端口绑定(bind)，对端口进行监听(listen)，调用accept阻塞，等待客户端连接。在这时如果有个客户端初始化一个Socket，然后连接服务器(connect)，如果连接成功，这时客户端与服务器端的连接就建立了。客户端发送数据请求，服务器端接收请求并处理请求，然后把回应数据发送给客户端，客户端读取数据，最后关闭连接，一次交互结束。

 

import socket
socket.socket(socket_family,socket_type,protocal=0)
socket_family 可以是 AF_UNIX 或 AF_INET。socket_type 可以是 SOCK_STREAM 或 SOCK_DGRAM。protocol 一般不填,默认值为 0。

获取tcp/ip套接字
tcpSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

获取udp/ip套接字
udpSock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

由于 socket 模块中有太多的属性。我们在这里破例使用了'from module import *'语句。使用 'from socket import *',我们就把 socket 模块里的所有属性都带到我们的命名空间里了,这样能 大幅减短我们的代码。
例如tcpSock = socket(AF_INET, SOCK_STREAM)

关于套接字家族的例子

二、socket模块的用法

1 2 3 4 5 6 7 8 9 10 11 12

import socket socket.socket(socket_family,socket_type,protocal=0) socket_family 可以是 AF_UNIX 或 AF_INET。socket_type 可以是 SOCK_STREAM 或 SOCK_DGRAM。protocol 一般不填,默认值为 0。   获取tcp/ip套接字 tcpSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)   获取udp/ip套接字 udpSock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)   由于 socket 模块中有太多的属性。我们在这里破例使用了'from module import *'语句。使用 'from socket import *',我们就把 socket 模块里的所有属性都带到我们的命名空间里了,这样能 大幅减短我们的代码。 例如tcpSock = socket(AF_INET, SOCK_STREAM)

服务端套解字函数

• s.bind()  绑定地址（host,port）到套接字， 在AF_INET下,以元组（host,port）的形式表示地址。
• s.listen()开始TCP监听。backlog指定在拒绝连接之前，操作系统可以挂起的最大连接数量。该值至少为1，大部分应用程序设为5就可以了
• s.accept()被动接受TCP客户端连接,(阻塞式)等待连接的到来

客户端套接字

• s.connect()　　主动初始化TCP服务器连接，。一般address的格式为元组（hostname,port），如果连接出错，返回socket.error错误
• s.connect_ex()   connect()函数的扩展版本,出错时返回出错码,而不是抛出异常

三、socket对象(内建)方法

服务器端套接字
s.bind()	绑定地址（host,port）到套接字， 在AF_INET下,以元组（host,port）的形式表示地址。
s.listen()	开始TCP监听。backlog指定在拒绝连接之前，操作系统可以挂起的最大连接数量。该值至少为1，大部分应用程序设为5就可以了。
s.accept()	被动接受TCP客户端连接,(阻塞式)等待连接的到来
客户端套接字
s.connect()	主动初始化TCP服务器连接，。一般address的格式为元组（hostname,port），如果连接出错，返回socket.error错误。
s.connect_ex()	connect()函数的扩展版本,出错时返回出错码,而不是抛出异常
公共用途的套接字函数
s.recv()	接收TCP数据，数据以字符串形式返回，bufsize指定要接收的最大数据量。flag提供有关消息的其他信息，通常可以忽略。
s.send()	发送TCP数据，将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。
s.sendall()	完整发送TCP数据，完整发送TCP数据。将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。
s.recvform()	接收UDP数据，与recv()类似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。
s.sendto()	发送UDP数据，将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。
s.close()	关闭套接字
s.getpeername()	返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。
s.getsockname()	返回套接字自己的地址。通常是一个元组(ipaddr,port)
s.setsockopt(level,optname,value)	设置给定套接字选项的值。
s.getsockopt(level,optname[.buflen])	返回套接字选项的值。
s.settimeout(timeout)	设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如connect()）
s.gettimeout()	返回当前超时期的值，单位是秒，如果没有设置超时期，则返回None。
s.fileno()	返回套接字的文件描述符。
s.setblocking(flag)	如果flag为0，则将套接字设为非阻塞模式，否则将套接字设为阻塞模式（默认值）。非阻塞模式下，如果调用recv()没有发现任何数据，或send()调用无法立即发送数据，那么将引起socket.error异常。
s.makefile()	创建一个与该套接字相关连的文件

面向锁的套接字方法

• s.setblocking() 设置套接字的阻塞与非阻塞模式
• s.settimeout() 设置阻塞套接字操作的超时时间
• s.gettimeout() 得到阻塞套接字操作的超时时间

面向文件的套接字的函数

• s.fileno()　　套接字的文件描述符
• s.makefile()　　创建一个与该套接字相关的文件

 

四、服务端与客户端之间的通信

1.基于TCP的套接字

tcp服务端

 

t_s = socket()    #创建服务器套接字
t_s.bind()    #把地址绑定到套接字
t_s.listen()    #监听连接
 
while True:    #服务器无线循环     #这是用来循环接收不同的链接
    c_s = t_s.accept()    #等待接受客户端连接
    while True:    #通信循环    #用来基于一次链接的循环的通信
        c_s.recv()    /    c_s.send()    #对话（接受与发送）
    c_s.close()    #关闭客户端的套接字
t_S.close()    #关闭服务器的套接字（可选）
 
#这是伪代码，只是了解socket 

 

tcp客户端

c_s = socket()    #创建客户套接字
c_s.connect()    #连接服务器
 
while True:
    c_s.send()    /    cs.recv()    #对话（发送/接收）
c_s.close()    #关闭客户套接字
 
 
#这是伪代码

 

上面的服务端与客户端实现了"自己"与"自己"之间的简单通信

辣么,基于上述也可以实现一种模拟现实"打电话"的通信

服务端

我们想实现打电话的通信,首先服务端要不断接受连接,然后循环通信,实现一种交互式的收发，通信完毕后只关闭链接，服务器能够继续接收下一次链接

import socket
ip_port = ("127.0.0.1",8080)# 电话卡
back_log = 5
buffer_size = 1024

s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)#买手机
s.bind(ip_port)   #手机插卡
s.listen(back_log)#手机待机

while True:                 #新增接收链接循环,可以不停的接电话
    conn,address = s.accept()#手机接电话
    # print(conn)
    print('接到来自%s的电话' %address)
    while True:#新增通信循环,可以不断的通信,收发消息
        try:   #新增捕捉异常的，如果不加,那么正在链接的客户端突然断开,recv便不再阻塞,死循环发生
            ret = str(conn.recv(buffer_size),encoding="utf-8")
            print("from>>> " ,ret)  #收到来自于客户端的消息
            nr = input(">>>")        #交互式发送,发给客户端消息
            conn.sendall(bytes(nr, encoding="utf-8"))
        except Exception:
            break

    #conn.close() #挂电话(可选)

#s.close()        #手机关机(可选)

服务端

客户端

import socket
ip_port = ("127.0.0.1",8080)
buffer_size = 1024
s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)# 买手机
s.connect(ip_port)                                  # 拨电话

while True: # 新增通信循环,客户端可以不断发收消息
    nr = input(">>>").strip() #
    if not nr:continue # 如果输入为空，则返回循环
    s.sendall(bytes(nr, encoding="utf-8"))# 发消息,说话(只能发送字节类型)
    res = s.recv(buffer_size)              # 收消息,听话
    print("来自远方的消息",str(res, encoding="utf-8"))

#s.close()                                 # 挂电话(可选)

基于上次例子可能会遇到一些问题:

这个是由于你的服务端仍然存在四次挥手的time_wait状态在占用地址（如果不懂，请深入研究1.tcp三次握手，四次挥手 2.syn洪水攻击 3.服务器高并发情况下会有大量的time_wait状态的优化方法）

解决方案:

#加入一条socket配置，重用ip和端口

phone=socket(AF_INET,SOCK_STREAM)
phone.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #就是它，在bind前加
phone.bind(('127.0.0.1',8080))

#此条可以解决上述的问题

方法一

发现系统存在大量TIME_WAIT状态的连接，通过调整linux内核参数解决，
vi /etc/sysctl.conf

编辑文件，加入以下内容：
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30
 
然后执行 /sbin/sysctl -p 让参数生效。
 
net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭；

net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭；

net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。

net.ipv4.tcp_fin_timeout 修改系統默认的 TIMEOUT 时间



# 看不懂略过,我也看不懂

方法二

注:如果有俩个客户端访问服务端,则优先处理第一个访问的客户端,另外一个则被放在连接池中等待。当第一个客户端强行终止与服务端的连接,服务端触发异常,新增一个捕捉异常的功能,可以将后面的连接池中的客户端再次建立通信连接。

基于上述也可以模拟实现TCP远程执行命令

# 基于tcp协议实现的远程连接命令工作
from socket import *
import subprocess
ip_port = ("127.0.0.1",8080)
back_log = 5
buffer_size = 1024

tcp_server = socket(AF_INET,SOCK_STREAM)
tcp_server.bind(ip_port)
tcp_server.listen(back_log)

while True:
    conn,addr = tcp_server.accept()
    print("客户端连接",addr)
    while True:
        try:
            cmd = conn.recv(buffer_size)
            if not cmd:break
            print("收到客户端的命令是:",cmd)
            res = subprocess.Popen(cmd.decode("utf-8"),shell=True,
                             stderr=subprocess.PIPE,
                             stdout=subprocess.PIPE,
                             stdin=subprocess.PIPE)
            err = res.stderr.read()
            if err:
                cmd_res = err
            else:
                cmd_res = res.stdout.read()
            if not cmd_res:
                cmd_res = "命令执行OK".encode("gbk")
            conn.send(cmd_res)

        except Exception as e:
            print(e)
            break
    conn.close()

服务端

from socket import *
import subprocess
ip_port = ("127.0.0.1",8080)
buffer_size = 1024

tcp_client = socket(AF_INET,SOCK_STREAM)
tcp_client.connect(ip_port)

while True:
    msg = input(">>>")
    if not msg:continue
    if msg == "q":break #如果输入的是q 则发送的是空 服务端会进入死循环
    tcp_client.send(msg.encode("utf-8"))
    cmd_res = tcp_client.recv(buffer_size)
    print("命令行的结果是",cmd_res.decode("gbk"))

tcp_client.close()

客户端

2.基于UDP的套接字

udp的socket修改了一些参数

服务端

from socket import *

udp_server = socket(AF_INET,SOCK_DGRAM) # 基于网络,  数据报
udp_server.bind(("127.0.0.1",8080,))

while True:
    data,addr = udp_server.recvfrom(1024)
    print("来自于：",addr,data.decode("utf-8"))

    msg = input(">>>")
    udp_server.sendto(msg.encode("utf-8"),addr)

客户端

from socket import *
ip_port=("192.168.12.34",8899)

udp_client = socket(AF_INET,SOCK_DGRAM) # 基于网络,  数据报

while True:
    msg = input(">>>")
    udp_client.sendto(msg.encode("utf-8"),ip_port)  # 发送于谁

    data,addr=udp_client.recvfrom(1024)             # 接收来自于谁
    print(data.decode("utf-8"))

对UDP进行的一些阐释 如果发送的内容为空,例如直接回车,不会阻塞。在TCP下按下回车则会阻塞,则要作出一些处理。UDP不会出现粘包现象,再讲解粘包时会作出解释。而且UDP可以直接实现并发,支持多用户同时通信服务端

基于udp套接字我们可以作出一些小功能

实现ntp时间服务器

from socket import *
import time

udp_server = socket(AF_INET,SOCK_DGRAM) # 基于网络,  数据报
udp_server.bind(("127.0.0.1",8080,))

while True:
    data,addr = udp_server.recvfrom(1024)
    print("来自于：",addr,data.decode("utf-8"))
    if not data:
        gs = "%F %X"
    else:
        gs = data.decode("utf-8")
    sj = time.strftime(gs)
    udp_server.sendto(sj.encode("utf-8"),addr)

服务端

from socket import *
ip_port=("127.0.0.1",8080)

udp_client = socket(AF_INET,SOCK_DGRAM) # 基于网络,  数据报

while True:
    msg = input(">>>")
    udp_client.sendto(msg.encode("utf-8"),ip_port)  # 发送于谁

    data,addr=udp_client.recvfrom(1024)              # 接收来自于谁
    print("标准时间为:",data.decode("utf-8"))

客户端

基于udp套接字模拟实现UDP远程执行命令

# 基于udp实现的远程命令行
from socket import *
import subprocess

ip_port = ("127.0.0.1",8080)
buffer_size = 1024

udp_server = socket(AF_INET,SOCK_DGRAM)
udp_server.bind(ip_port)

while True:
    # 收
    cmd,addr = udp_server.recvfrom(buffer_size)
    print("收到客户端的命令是:", cmd)
    res = subprocess.Popen(cmd.decode("utf-8"),shell=True,
                     stderr=subprocess.PIPE,
                     stdout=subprocess.PIPE,
                     stdin=subprocess.PIPE)
    err = res.stderr.read()
    if err:
        cmd_res = err
    else:
        cmd_res = res.stdout.read()
    if not cmd_res: # 如果这个命令的返回值是空的,则会阻塞.所以要人为的添加一些操作
        cmd_res = "ok".encode("utf-8")
    # 发
    udp_server.sendto(cmd_res,addr)

服务端

# 基于udp实现的远程命令行
from socket import *
import subprocess

ip_port = ("127.0.0.1",8080)
buffer_size = 1024

udp_server = socket(AF_INET,SOCK_DGRAM)
udp_server.bind(ip_port)

while True:
    # 收
    cmd,addr = udp_server.recvfrom(buffer_size)
    print("收到客户端的命令是:", cmd)
    res = subprocess.Popen(cmd.decode("utf-8"),shell=True,
                     stderr=subprocess.PIPE,
                     stdout=subprocess.PIPE,
                     stdin=subprocess.PIPE)
    err = res.stderr.read()
    if err:
        cmd_res = err
    else:
        cmd_res = res.stdout.read()
    if not cmd_res: # 如果这个命令的返回值是空的,则会阻塞.所以要人为的添加一些操作
        cmd_res = "ok".encode("utf-8")
    # 发
    udp_server.sendto(cmd_res,addr)

服务端

注:tcp和udp实现的远程执行命令因为系统的分别,可能会产生一些差异性。在windows上面,因为将命令交给shell去操作,所以shell底层是用gbk编码的,再得到shell处理返回的结果时,则要用gbk去解码拿到结果。

总结：tcp的recv和udp的recvfrom的区别

1、收发原理详解：

• 发消息：都是将数据发送到己端的发送缓冲区中
• 收消息：都是从己端的缓冲区中收

2、发消息二者类似，收消息确实有区别的？

• tcp协议：send发消息，recv收消息
• （1）如果收消息缓冲区里的数据为空，那么recv就会阻塞
• （2）tcp基于链接通信，如果一端断开了链接，那另外一端的链接也跟着完蛋recv将不会阻塞，收到的是空

3.udp协议：sendto发消息，recvfrom收消息

• （1）如果如果收消息缓冲区里的数据为“空”，recvfrom不会阻塞
• （2）recvfrom收的数据小于sendinto发送的数据时，数据丢失
• （3）只有sendinto发送数据没有recvfrom收数据，数据丢失

注意：

1.你单独运行上面的udp的客户端，你发现并不会报错，相反tcp却会报错，因为udp协议只负责把包发出去，对方收不收，根本不管，而tcp是基于链接的，必须有一个服务端先运行着，客户端去跟服务端建立链接然后依托于链接才能传递消息，任何一方试图把链接摧毁都会导致对方程序的崩溃。

2.上面的udp程序，你注释任何一条客户端的sendinto，服务端都会卡住，为什么？因为服务端有几个recvfrom就要对应几个sendinto，哪怕是sendinto(b'')那也要有。

总结：

• 1.udp的sendinto不用管是否有一个正在运行的服务端，可以己端一个劲的发消息
• 2.udp的recvfrom是阻塞的，一个recvfrom(x)必须对一个一个sendinto(y),收完了x个字节的数据就算完成,若是y>x数据就丢失，这意味着udp根本不会粘包，但是会丢数据，不可靠
• 3.tcp的协议数据不会丢，两端总是在收到ack时才会清除缓冲区内容。数据是可靠的，但是会粘包。