python基础之网络编程(中篇)

socket编程

---

Python 提供了两个级别访问的网络服务。

• 低级别的网络服务支持基本的 Socket，它提供了标准的 BSD Sockets API，可以访问底层操作系统Socket接口的全部方法。
• 高级别的网络服务模块 SocketServer， 它提供了服务器中心类，可以简化网络服务器的开发。

Socket是什么 ?

• Socket又称"套接字"，应用程序通常通过"套接字"向网络发出请求或者应答网络请求，使主机间或者一台计算机上的进程间可以通讯。

socket()函数

• Python 中，我们用 socket（）函数来创建套接字，语法格式如下:

import socket
socket.socket([family[, type[, proto]]])

• 参数

　　　　family: 套接字家族可以使AF_UNIX或者AF_INET

　　　　type: 套接字类型可以根据TCP(面向连接)的还是UDP(非连接)分为SOCK_STREAM或SOCK_DGRAM

　　　　protocol: 一般不填默认为0.

import socket
socket.socket(socket_family,socket_type,protocal=0)
socket_family 可以是 AF_UNIX 或 AF_INET。socket_type 可以是 SOCK_STREAM 或 SOCK_DGRAM。protocol 一般不填,默认值为 0。

获取tcp/ip套接字
tcpSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

获取udp/ip套接字
udpSock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

由于 socket 模块中有太多的属性。我们在这里破例使用了'from module import *'语句。使用 'from socket import *',我们就把 socket 模块里的所有属性都带到我们的命名空间里了,这样能 大幅减短我们的代码。
例如tcpSock = socket(AF_INET, SOCK_STREAM)

• socket对象(内建)方法

服务器端套接字
s.bind()	绑定地址（host,port）到套接字， 在AF_INET下,以元组（host,port）的形式表示地址。
s.listen()	开始TCP监听。backlog指定在拒绝连接之前，操作系统可以挂起的最大连接数量。该值至少为1，大部分应用程序设为5就可以了。
s.accept()	被动接受TCP客户端连接,(阻塞式)等待连接的到来
客户端套接字
s.connect()	主动初始化TCP服务器连接，。一般address的格式为元组（hostname,port），如果连接出错，返回socket.error错误。
s.connect_ex()	connect()函数的扩展版本,出错时返回出错码,而不是抛出异常
公共用途的套接字函数
s.recv()	接收TCP数据，数据以字符串形式返回，bufsize指定要接收的最大数据量。flag提供有关消息的其他信息，通常可以忽略。
s.send()	发送TCP数据，将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。
s.sendall()	完整发送TCP数据，完整发送TCP数据。将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。
s.recvform()	接收UDP数据，与recv()类似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。
s.sendto()	发送UDP数据，将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。
s.close()	关闭套接字
s.getpeername()	返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。
s.getsockname()	返回套接字自己的地址。通常是一个元组(ipaddr,port)
s.setsockopt(level,optname,value)	设置给定套接字选项的值。
s.getsockopt(level,optname[.buflen])	返回套接字选项的值。
s.settimeout(timeout)	设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如connect()）
s.gettimeout()	返回当前超时期的值，单位是秒，如果没有设置超时期，则返回None。
s.fileno()	返回套接字的文件描述符。
s.setblocking(flag)	如果flag为0，则将套接字设为非阻塞模式，否则将套接字设为阻塞模式（默认值）。非阻塞模式下，如果调用recv()没有发现任何数据，或send()调用无法立即发送数据，那么将引起socket.error异常。
s.makefile()	创建一个与该套接字相关连的文件

辣么，现在可以搭建一个简单的服务端与客户端之间的通信

基于TCP的套接字

服务端

我们使用 socket 模块的 socket 函数来创建一个 socket 对象。socket 对象可以通过调用其他函数来设置一个 socket 服务。

现在我们可以通过调用 bind(hostname, port) 函数来指定服务的 port(端口)。

接着，我们调用 socket 对象的 accept 方法。该方法等待客户端的连接，并返回 connection 对象，表示已连接到客户端。

#!/usr/bin/python3
# 文件名：server.py

# 导入 socket模块
import socket

# 创建 socket 对象
serversocket = socket.socket(
            socket.AF_INET, socket.SOCK_STREAM) 

# 获取本地主机名
host = socket.gethostname()

port = 8080

# 绑定端口
serversocket.bind((host, port))

# 设置最大连接数，超过后排队
serversocket.listen(5)

while True:
    # 建立客户端连接
    clientsocket,addr = serversocket.accept()      

    print("连接地址: %s" % str(addr))
    
    msg='welcome to JinCheng！'+ "\r\n"
    clientsocket.send(msg.encode('utf-8'))
    clientsocket.close()

客户端

接下来我们写一个简单的客户端实例连接到以上创建的服务。

socket.connect(hosname, port ) 方法打开一个 TCP 连接到主机为 hostname 端口为 port 的服务商。连接后我们就可以从服务端后期数据，记住，操作完成后需要关闭连接。

#!/usr/bin/python3
# 文件名：client.py

# 导入 socket模块
import socket

# 创建 socket 对象
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

# 获取本地主机名
host = socket.gethostname()

# 设置端口好
port = 8080

# 连接服务，指定主机和端口
s.connect((host, port))

# 接收小于 1024 字节的数据
msg = s.recv(1024)

s.close()

print (msg.decode('utf-8'))

上面的服务端与客户端实现了"自己"与"自己"之间的简单通信

辣么,基于上述也可以实现一种模拟现实"打电话"的通信

服务端

我们想实现打电话的通信,首先服务端要不断接受连接,然后循环通信,实现一种交互式的收发，通信完毕后只关闭链接，服务器能够继续接收下一次链接

import socket
ip_port = ("127.0.0.1",8080)# 电话卡
back_log = 5
buffer_size = 1024

s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)#买手机
s.bind(ip_port)   #手机插卡
s.listen(back_log)#手机待机

while True:                 #新增接收链接循环,可以不停的接电话
    conn,address = s.accept()#手机接电话
    # print(conn)
    print('接到来自%s的电话' %address)
    while True:#新增通信循环,可以不断的通信,收发消息
        try:   #新增捕捉异常的，如果不加,那么正在链接的客户端突然断开,recv便不再阻塞,死循环发生
            ret = str(conn.recv(buffer_size),encoding="utf-8")
            print("from>>> " ,ret)  #收到来自于客户端的消息
            nr = input(">>>")        #交互式发送,发给客户端消息
            conn.sendall(bytes(nr, encoding="utf-8"))
        except Exception:
            break

    #conn.close() #挂电话(可选)

#s.close()        #手机关机(可选)

客户端

import socket
ip_port = ("127.0.0.1",8080)
buffer_size = 1024
s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)# 买手机
s.connect(ip_port)                                  # 拨电话

while True: # 新增通信循环,客户端可以不断发收消息
    nr = input(">>>").strip() #
    if not nr:continue # 如果输入为空，则返回循环
    s.sendall(bytes(nr, encoding="utf-8"))# 发消息,说话(只能发送字节类型)
    res = s.recv(buffer_size)              # 收消息,听话
    print("来自远方的消息",str(res, encoding="utf-8"))

#s.close()                                 # 挂电话(可选)

基于上次例子可能会遇到一些问题:

这个是由于你的服务端仍然存在四次挥手的time_wait状态在占用地址（如果不懂，请深入研究1.tcp三次握手，四次挥手 2.syn洪水攻击 3.服务器高并发情况下会有大量的time_wait状态的优化方法）

解决方案:

#加入一条socket配置，重用ip和端口

phone=socket(AF_INET,SOCK_STREAM)
phone.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #就是它，在bind前加
phone.bind(('127.0.0.1',8080))

#此条可以解决上述的问题

发现系统存在大量TIME_WAIT状态的连接，通过调整linux内核参数解决，
vi /etc/sysctl.conf

编辑文件，加入以下内容：
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30
 
然后执行 /sbin/sysctl -p 让参数生效。
 
net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭；

net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭；

net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。

net.ipv4.tcp_fin_timeout 修改系統默认的 TIMEOUT 时间



# 看不懂略过,我也看不懂

注:如果有俩个客户端访问服务端,则优先处理第一个访问的客户端,另外一个则被放在连接池中等待。当第一个客户端强行终止与服务端的连接,服务端触发异常,新增一个捕捉异常的功能,可以将后面的连接池中的客户端再次建立通信连接。

辣么,基于上述也可以模拟实现TCP远程执行命令

# 基于tcp协议实现的远程连接命令工作
from socket import *
import subprocess
ip_port = ("127.0.0.1",8080)
back_log = 5
buffer_size = 1024

tcp_server = socket(AF_INET,SOCK_STREAM)
tcp_server.bind(ip_port)
tcp_server.listen(back_log)

while True:
    conn,addr = tcp_server.accept()
    print("客户端连接",addr)
    while True:
        try:
            cmd = conn.recv(buffer_size)
            if not cmd:break
            print("收到客户端的命令是:",cmd)
            res = subprocess.Popen(cmd.decode("utf-8"),shell=True,
                             stderr=subprocess.PIPE,
                             stdout=subprocess.PIPE,
                             stdin=subprocess.PIPE)
            err = res.stderr.read()
            if err:
                cmd_res = err
            else:
                cmd_res = res.stdout.read()
            if not cmd_res:
                cmd_res = "命令执行OK".encode("gbk")
            conn.send(cmd_res)

        except Exception as e:
            print(e)
            break
    conn.close()

from socket import *
import subprocess
ip_port = ("127.0.0.1",8080)
buffer_size = 1024

tcp_client = socket(AF_INET,SOCK_STREAM)
tcp_client.connect(ip_port)

while True:
    msg = input(">>>")
    if not msg:continue
    if msg == "q":break #如果输入的是q 则发送的是空 服务端会进入死循环
    tcp_client.send(msg.encode("utf-8"))
    cmd_res = tcp_client.recv(buffer_size)
    print("命令行的结果是",cmd_res.decode("gbk"))

tcp_client.close()

基于UDP的套接字

udp的socket修改了一些参数

服务端

from socket import *

udp_server = socket(AF_INET,SOCK_DGRAM) # 基于网络,  数据报
udp_server.bind(("127.0.0.1",8080,))

while True:
    data,addr = udp_server.recvfrom(1024)
    print("来自于：",addr,data.decode("utf-8"))

    msg = input(">>>")
    udp_server.sendto(msg.encode("utf-8"),addr)

客户端

from socket import *
ip_port=("192.168.12.34",8899)

udp_client = socket(AF_INET,SOCK_DGRAM) # 基于网络,  数据报

while True:
    msg = input(">>>")
    udp_client.sendto(msg.encode("utf-8"),ip_port)  # 发送于谁

    data,addr=udp_client.recvfrom(1024)             # 接收来自于谁
    print(data.decode("utf-8"))

对UDP进行的一些阐释 如果发送的内容为空,例如直接回车,不会阻塞。在TCP下按下回车则会阻塞,则要作出一些处理。UDP不会出现粘包现象,再讲解粘包时会作出解释。而且UDP可以直接实现并发,支持多用户同时通信服务端

基于udp套接字我们可以作出一些小功能

实现ntp时间服务器

from socket import *
import time

udp_server = socket(AF_INET,SOCK_DGRAM) # 基于网络,  数据报
udp_server.bind(("127.0.0.1",8080,))

while True:
    data,addr = udp_server.recvfrom(1024)
    print("来自于：",addr,data.decode("utf-8"))
    if not data:
        gs = "%F %X"
    else:
        gs = data.decode("utf-8")
    sj = time.strftime(gs)
    udp_server.sendto(sj.encode("utf-8"),addr)

from socket import *
ip_port=("127.0.0.1",8080)

udp_client = socket(AF_INET,SOCK_DGRAM) # 基于网络,  数据报

while True:
    msg = input(">>>")
    udp_client.sendto(msg.encode("utf-8"),ip_port)  # 发送于谁

    data,addr=udp_client.recvfrom(1024)              # 接收来自于谁
    print("标准时间为:",data.decode("utf-8"))

基于udp套接字模拟实现UDP远程执行命令

# 基于udp实现的远程命令行
from socket import *
import subprocess

ip_port = ("127.0.0.1",8080)
buffer_size = 1024

udp_server = socket(AF_INET,SOCK_DGRAM)
udp_server.bind(ip_port)

while True:
    # 收
    cmd,addr = udp_server.recvfrom(buffer_size)
    print("收到客户端的命令是:", cmd)
    res = subprocess.Popen(cmd.decode("utf-8"),shell=True,
                     stderr=subprocess.PIPE,
                     stdout=subprocess.PIPE,
                     stdin=subprocess.PIPE)
    err = res.stderr.read()
    if err:
        cmd_res = err
    else:
        cmd_res = res.stdout.read()
    if not cmd_res: # 如果这个命令的返回值是空的,则会阻塞.所以要人为的添加一些操作
        cmd_res = "ok".encode("utf-8")
    # 发
    udp_server.sendto(cmd_res,addr)

 

from socket import *
import subprocess

ip_port = ("127.0.0.1",8080)
buffer_size = 1024
udp_client = socket(AF_INET,SOCK_DGRAM)

while True:
    msg = input(">>>")
    udp_client.sendto(msg.encode("utf-8"), ip_port)

    data,addr = udp_client.recvfrom(buffer_size)
    print("命令的结果是" ,data.decode("gbk"))

注:tcp和udp实现的远程执行命令因为系统的分别,可能会产生一些差异性。在windows上面,因为将命令交给shell去操作,所以shell底层是用gbk编码的,再得到shell处理返回的结果时,则要用gbk去解码拿到结果。

关于tcp的recv和udp的recvfrom的一些区别

1、收发原理详解：

发消息：都是将数据发送到己端的发送缓冲区中

收消息：都是从己端的缓冲区中收

2、发消息二者类似，收消息确实有区别的？

tcp协议：send发消息，recv收消息

（1）如果收消息缓冲区里的数据为空，那么recv就会阻塞

（2）tcp基于链接通信，如果一端断开了链接，那另外一端的链接也跟着完蛋recv将不会阻塞，收到的是空

udp协议：sendto发消息，recvfrom收消息

（1）如果如果收消息缓冲区里的数据为“空”，recvfrom不会阻塞

（2）recvfrom收的数据小于sendinto发送的数据时，数据丢失

（3）只有sendinto发送数据没有recvfrom收数据，数据丢失

注意：

1.你单独运行上面的udp的客户端，你发现并不会报错，相反tcp却会报错，因为udp协议只负责把包发出去，对方收不收，根本不管，而tcp是基于链接的，必须有一个服务端先运行着，客户端去跟服务端建立链接然后依托于链接才能传递消息，任何一方试图把链接摧毁都会导致对方程序的崩溃。

2.上面的udp程序，你注释任何一条客户端的sendinto，服务端都会卡住，为什么？因为服务端有几个recvfrom就要对应几个sendinto，哪怕是sendinto(b'')那也要有。

总结：

1.udp的sendinto不用管是否有一个正在运行的服务端，可以己端一个劲的发消息

2.udp的recvfrom是阻塞的，一个recvfrom(x)必须对一个一个sendinto(y),收完了x个字节的数据就算完成,若是y>x数据就丢失，这意味着udp根本不会粘包，但是会丢数据，不可靠

3.tcp的协议数据不会丢，己端总是在收到ack时才会清除缓冲区内容。数据是可靠的，但是会粘包。