博客已迁移到CSDN《https://blog.csdn.net/qq_33375499》
最近心情有点儿浮躁，难以静下心来
Python提供了强大的网络编程支持，很多库实现了常见的网络协议以及基于这些协议的抽象层，让你能够专注于程序的逻辑，而无需关心通过线路来传输比特的问题。
1 几个网络模块
1.1 模块socket
网络编程中的一个基本组件是套接字(socket)。套接字基本上是一个信息通道，两端各有一个程序。这些程序可能位于(通过网络相连接的)不同的计算机上，通过套接字向对方发送消息。在Python中，大多数网络编程都隐藏了模块socket的基本工作原理，不与套接字直接交互。
套接字分为两类：服务端套接字和客户端套接字。创建服务端套接字后，让它等待连接请求的到来。这样，它将在某个网络地址(由IP地址和端口号组成)处监听，知道客户端套接字建立连接，还必须处理多个连接；而客户端套接字只需连接，完成任务后再断开连接即可。
套接字是模块socket中socket类的实例。实例化套接字时最多可指定三个参数：一个地址族(默认为socket.AF_INET)；是流套接字(socket.SOCK_STREAM，默认设置)还是数据报套接字(socket.SOCK_DGRAM)；协议(使用默认值0就好)。
服务器套接字先调用方法bind，在调研方法listen来监听特定的地址。然后，客户端套接字通过调用方法connect并提供bind时指定的地址来连接服务端。这里的地址是一个格式为(host, port)的元祖，其中host是主机名，port是端口号。方法listen接收一个参数——代办任务清单的长度(即最多可有多少个连接在队列中等待接纳，到达这个数量后将开始拒绝连接)。
服务端套接字开始监听后，就可接收客户端连接，使用方法accept来等待连接。这个方法将阻断(等待)到客户端连接到来为止(有点类似与yield关键字)，然后返回一个格式为(client, address)的元组，其中client为客户端套接字，而address为地址。服务端能以其认为合适的方式处理客户端连接，然后再次调用accept以等待新连接到来。
为传输数据，套接字提供了两个方法：send-发送和recv-接收(表示receive)，这两个方法都是接收或发送字节流数据。
简单的服务器：
import socket #创建套接字 s = socket.socket() #获取主机名 host = socket.gethostname() #端口号 port = 8080 address = (host, port) #创建连接 s.bind(address) #监听:最大连接数为5 s.listen(5) while True: #等待连接 client, addr = s.accept() #接收消息 str = bytes.decode(client.reve(1024)) #发送消息 client.send(str.encode('我是服务端!','utf-8'))
简单的客服端：
import socket s = socket.socket() #连接服务端地址 host = socket.gethostname() port = 8080 address = (host, port) #连接 s.connect(address) #接收消息 str = bytes.decode(s.reve(1024)) #发送消息 s.sent(str.encode('我是客户端！','utf-8'))
1.2 模块urllib和urllib2
模块urllib和urllib2，由名字可知，它们让你能够通过网络访问文件，就像这些文件位于你的计算机中一样。只需一个简单的函数调用，就几乎可将统一资源定位符(URL)可指向的任何动作作为程序的输入。这两个模块一般用于下载网页、从中提取信息自动生成研究报告等。对于简单的操作，urllib绰绰有余，如果要实现HTTP身份验证或Cookie，或编写扩展来处理自己的协议，urllib2可能是更好的选择。
1.2.1 打开远程文件
使用模块urllib.request中的函数urlopen来打开远程文件，只能进行读取操作。如：
from urllib.request import urlopen
page = urlopen('www.baidu.com')
如果连接到网络，变量page将包含一个类似于文件的对象，这个对象与你所连接的地址相关联。urlopen返回类似于文件的对象支持方法clost、read、readline和readlines，还支持迭代等。
1.2.2 获取远程文件
函数urlopen返回一个类似于文件的对象，可从中读取数据。如果要让urllib替你下载文件，并将其副本存储在本地，可使用urllib.request中的函数urlretrieve。这个函数返回一个格式为(filename, headers)的元祖，其中filename是本地文件的名称(由urllib自动创建)，而headers包含一些有关远程文件的信息。如果要给下载的副本指定文件名，可通过函数urlretrieve的第二个参数来指定。
函数格式为: urlretrieve(url, filename=None, reporthook=None, data=None)，函数urlretrieve将url中的内容存储在filename中，如果filename没有指定，下载的副本将放在某个临时位置，可使用函数open来打开。但使用完毕后，你可能想将其删除，以免暂用磁盘空间，可调用函数urlcleanup来替你完成清除工作。
1.2.3 其他模块
Python标准库提供了一些与网络相关的模块，如下(只列举了一些常用的):
cgi 基本的CGI文件
asyncore 异步套接字处理程序
asynchat 包含补充asyncore的功能
Cookie Cookie对象操作，主要用于服务器
cookielib 客户端Cookie支持
email 电子邮件支持
ftplib FTP客户端模块
httplib HTTP客户端模块
mailbox 读取多种邮箱格式
urlparse 用于解读URL
2 SocketServer及相关的类
模块SocketServer是标准库提供的服务器框架的基石，这个框架包括BaseHTTPServer、SimpleHTTPServer、CGIHTTPServer、SimpleXMLRPCServer和DocXMLRPCServer等服务器，它们在基本服务器的基础上添加了各种功能。
SocketServer包含4个基本的服务器：TCPServer(支持TCP套接字流)、UDPServer(支持UDP套接字流)、UnixStreamServer和UnixDatagramServer。后面3个不常用。
使用模块SocketServer编写服务器时，大部分代码都位于请求处理中。每当服务器收到客户端的连接请求时，都将实例化一个请求处理程序，并对其调用各种处理方法来处理请求。基本请求处理程序类BaseRequestHandler将所有操作都放在一个方法中——服务器自动调用的方法handle。这个方法可通过书信self.request来访问客户端套接字。如果处理的是流(TCPServer时很可能如此)，可使用StreamRequestHandler类，它包含另外两个属性：self.rfile(用于读取)和self.wfile(用于写入)。你可以使用这两个类似与文件的对象来与客户端通信。
模块SocketServer还包含很多其他的类，它们为HTTP服务器提供基本的支持，以及XML-RPC支持。
from socketserver import TCPServer,StreamRequestHandler class Handle(StreamRequestHandler): def handle(self): addr = self.request.getpeername() print("addr:", addr) self.wfile.write("谢谢") server = TCPServer(('',1234), Handle) server.serve_forever()
3 多个连接
处理多个连接的主要方式有三种：分叉(forking)、线程化和异步I/O。通过结合使用SocketServer中的混合类和服务器类，很容易实现分叉和线程化。但是，分叉占用资源较多，且在客户端很多时可伸缩性不高；而线程化可能带来同步问题。并且Windows不支持分叉，分叉是UNIX术语。
3.1 使用SocketServer实现分叉和线程化
使用框架SocketServer创建分叉或线程化服务器非常简单，一般仅当方法handle需要很长时间才能执行完毕是，分叉和线程化才能提供有效帮助。创建如下：
1.分叉服务器
from socketserver import TCPServer,StreamRequestHandler,ForkingMixIn class Server(ForkingMixIn, TCPServer):pass class Handle(StreamRequestHandler): def handle(self): addr = self.request.getpeername() print("addr:", addr) self.wfile.write("谢谢") server = Server(('',1234), Handle) server.serve_forever()
2.线程化服务器
from socketserver import TCPServer,StreamRequestHandler,ThreadingMixIn class Server(ThreadingMixIn, TCPServer):pass class Handle(StreamRequestHandler): def handle(self): addr = self.request.getpeername() print("addr:", addr) self.wfile.write("谢谢") server = Server(('',1234), Handle) server.serve_forever()
3.2 使用select和poll实现异步I/O
当服务器与客户端通信时，来自客户端的数据可能时断时续。如果使用了分叉和线程化，这就不是问题：因为一个进程(线程)等待数据时，其他进程(线程)可继续处理其客户端。然而，另一种做法是只处理正在通信的客户端。你甚至无需不断监听，只需监听后将客户端加入队列即可。
这就是框架asyncore/asynchat 和 Twisted采取的方法。这种功能的基石是函数select或poll(只支持UNIX系统)。这两个函数都位于模块select中，其中poll的可伸缩性更高。
函数select接收三个必不可少的参数和一个可选参数，其中前三个参数为序列，而第四个参数为超时时间(单位为秒)。这些序列包含文件描述符整数(也可以是包含返回文件描述符整数的方法fileno)，表示我们正在等待的连接。这三个序列分别表示需要输入和输出以及发生异常(错误等)的连接。如果没有指定超时时间，select将阻断(即等待)到有文件描述符准备就绪；如果指定了超时时间，select将最多阻断指定的秒数；如果超时时间为0，select将不断轮询(即不阻断)。select返回三个序列(即一个长度为3的元祖)，其中每个序列都包含相应参数中处于活动状态的文件描述符。
如下所示，一个使用select的简单服务器：import socket, select
s = socket.socket() host = socket.gethostname() port = 8080 s.bind((host,port)) s.listen(5) inputs = [s] while True:
# 方法select返回三个参数，通过序列解包赋值 rs, ws, es = select.select(inputs, [], []) for r in rs: if r is s: c, addr = s.accept() print("addr:", addr) inputs.append(c) else: try: data = r.reve(1024) discon = not data except socket.error: discon = True if discon:
# 1.getpeername()：用于获取与某个套接字关联的外地协议地址
# 2.getsockname()：用于获取与某个套接字关联的本地协议地址 print(r.getpeername(), 'discon') inputs.remove(r) else: print(data)
方法poll 使用起来比select容易。调用poll 时，将返回一个轮询对象。你可以使用方法register 向这个对象注册文件描述符(或包含方法fileno的对象)。注册后可使用方法unregister 将它们删除。注册对象(如套接字)后，可调用其方法poll(它接受一个可选的超时时间参数)。这将返回一个包含(fd, event)元祖的列表(可能为空)，其中fd为文件描述符，event是发生的事件。event是一个位掩码，这意味着它是一个整数，其各个位对应于不同的事件。各种事件是用select 模块中的常量表示的，如下表。要检查指定的位是否为1 (即是否发生了相应的事件)，可使用按位与运算符( & )：
if event & select.POLLIN: pase
事件名 描述
POLLIN 文件描述符中有需要读取的数据
POLLPRI 文件描述符中有需要读取的 紧急数据
POLLOUT 文件描述符为写入数据做好了准备
POLLERR 文件描述符出现了错误状态
POLLHUP 挂起。连接已断开
POLLNVAL 无效请求。连接未打开
下面是一个使用poll的简单服务器：
import socket, select s = socket.socket() host = socket.gethostname() port = 8080 s.bind((host, port)) fdmp = {s.fileno(): s} s.listen(5) p = select.poll() p.register(s) while True: events = p.poll() for fd, event in events: if fd in fdmp: c, addr = s.accept() print("addr:", addr) p.register(c) fdmp[c.fileno()] = c elif event & select.POLLIN: data = fdmp[fd].recv(1024) if not data: print(fdmp[fd].getpeername(),"discon") p.unregister(fd) del fdmp[fd] else: print(data)
4 Twisted
这是Twisted Matrix Laboratories 开发的一个框架，功能丰富而复杂，支持大多数主要的网络协议。框架Twisted是异步的，因此效率和可伸缩性都非常高。对很多自定义网络应用程序来说，使用Twisted来开发可能是最佳选择。
