socket 理解
socket通常也称作"套接字"，用于描述IP地址和端口，是一个通信链的句柄，应用程序通常通过"套接字"向网络发出请求或者应答网络请求。socket起源于Unix，而Unix/Linux基本哲学之一就是“一切皆文件”，对于文件用【打开】【读写】【关闭】模式来操作。 socket就是该模式的一个实现，socket即是一种特殊的文件，一些socket函数就是对其进行的操作（读/写IO、打开、关闭）
有关socket的详细介绍请看:
http://blog.csdn.net/sight_/article/details/8138802
socket和file的区别：
-
file模块是针对某个指定文件进行【打开】【读写】【关闭】
-
socket模块是针对服务器端和客户端Socket进行【打开】【读写】【关闭】
socket通信原理如下:
基于以上原理图，运用如下代码来实现效果:
socket server
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
#!/usr/bin/env python# -*- coding:utf-8 -*-__author__ = 'ryan'import socketconn = socket.socket(socket.AF_INET, socket.SOCK_STREAM)conn.bind(('127.0.0.1',9000))conn.listen(5)while True: print "waiting receiving from client....." connetcion,address=conn.accept() data = connetcion.recv(1024) print "received from %s,%s" %(address,data) connetcion.send(data) connetcion.close() |
socket client
|
1
2
3
4
5
6
7
8
9
10
11
12
|
#!/usr/bin/env python# -*- coding:utf-8 -*-__author__ = 'ryan'import socketclient_conn=socket.socket()client_conn.connect(('127.0.0.1',9000))input_data = raw_input("pls input:")client_conn.send(input_data)received_server=client_conn.recv(1024)print "received data from server: %s:" % received_serverclient_conn.close() |
分别启动服务端和客户端程序：
server运行:
client运行
此时输入内容（这里我们输入python test）
此时server 端状态:
接下来对代码进行解释:
WEB服务应用（server）：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
|
#!/usr/bin/env python# -*- coding:utf-8 -*-__author__ = 'ryan'#!/usr/bin/env python#coding:utf-8import socket#导入socket模块 #定义handle_request函数def handle_request(client): #定义变量buf等于类clinet下的方法recv接收的内容（这里内容是1024） buf = client.recv(1024) #定义send方法发送的内容 client.send("HTTP/1.1 200 OK\r\n\r\n") client.send("Hello, World") #定义main函数def main(): #通过socket.socket类实例化一个对象sock，即创建一个连接 sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) #对象sock调用类socket中的方法bind，并传入参数'localhost'和8080；即指定地址和打开的端口 sock.bind(('localhost',8080)) #对象sock调用类socket中的方法listen并传入参数5，这里定义最大连接数，同时连接过来的连接数超过5就会被拒绝掉 sock.listen(5) while True: #sock对象调用accept方法等待客户端发送过来的请求； #connection代表客户端sock对象，address连接过来的客户端IP地址;connection类似于土电话（两个易拉罐底部串个 #细线）细线。这里就会阻塞，等待客户端连接过来 connection, address = sock.accept() connection.recv(1024) #通过connection(细线/管道)最多接收客户端发送过来请求的字节数（这里定义1024）,这里 #就会阻塞，等待客户端发送数据 #handle_request(connection) #connection调用send方法发送数据，这里发送数据实际上是往缓冲区发，然后让缓冲区 #根据自己的算法发送出去（到客户端，这里的数据是"HTTP/1.1 200 OK\r\n\r\n"和"Hello,world"） connection.send("HTTP/1.1 200 OK\r\n\r\n") connection.sendall("HTTP/1.1 200 OK\r\n\r\n") #sendall也是往缓冲区发，发完会后缓冲区立即发送出去不用再调用缓冲区的算法 connection.send("Hello, World") #关闭连接端口 connection.close()if __name__ == '__main__': main() |
注意:服务端有两处阻塞:
①connection, address = sock.accept() #等待客户端连接过来，处于阻塞状态
②connection.recv(1024) #等待接收客户端发送数据过来，处于阻塞状态
注意:sock.close(）与connection.close()的区别:
sock.close()是关闭服务端的socket程序本身的连接，关闭后整个服务端socket程序就退出运行;
connection.close()是关闭服务端socket程序与客户端 连接，关闭后，服务端的socket程序仍然还在运行.
WEB服务应用（client）：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
#!/usr/bin/env python# -*- coding:utf-8 -*-__author__ = 'ryan'import socket#通过socket实例化一个对象objobj=socket.socket()#调用socket类中的方法connect,并传入参数（localhost,8080）;换句话说建立连接obj.connect(('localhost',8080))#对象obj调用send方法传入参数"this is a client";即发送数据到服务端obj.send("this is a client")#对象obj调用recv方法接收数据，传入参数1024；即最大接收字节数为1024个recv_server_data=obj.recv(1024)print recv_server_data#obj调用socket类中的方法close；即关闭连接obj.close() |
分别启动服务端 客户端运行结果如下:
|
1
2
|
D:\Python27\python.exe C:/Users/ryan/PycharmProjects/day08/clientdemo.pyHTTP/1.1 200 OK |
常见功能详解:
sock = socket.socket(socket.AF_INET,socket.SOCK_STREAM,0)
| 参数一：地址簇 socket.AF_INET IPv4（默认） socket.AF_INET6 IPv6 socket.AF_UNIX 只能够用于单一的Unix系统进程间通信 参数二：类型 socket.SOCK_STREAM 流式socket , for TCP （默认） socket.SOCK_DGRAM 数据报式socket , for UDP socket.SOCK_RAW 原始套接字，普通的套接字无法处理ICMP、IGMP等网络报文，而SOCK_RAW可以；其次，SOCK_RAW也可以处理特殊的IPv4报文；此外，利用原始套接字，可以通过IP_HDRINCL套接字选项由用户构造IP头。 socket.SOCK_RDM 是一种可靠的UDP形式，即保证交付数据报但不保证顺序。SOCK_RAM用来提供对原始协议的低级访问，在需要执行某些特殊操作时使用，如发送ICMP报文。SOCK_RAM通常仅限于高级用户或管理员运行的程序使用。 socket.SOCK_SEQPACKET 可靠的连续数据包服务 参数三：协议 0 （默认）与特定的地址家族相关的协议,如果是 0 ，则系统就会根据地址格式和套接类别,自动选择一个合适的协议 |
UDP实例
|
sock.bind(address)
s.bind(address) 将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下，以元组（host,port）的形式表示地址。
sock.listen(backlog)
开始监听传入连接。backlog指定在拒绝连接之前，可以挂起的最大连接数量。
backlog等于5，表示内核已经接到了连接请求，但服务器还没有调用accept进行处理的连接个数最大为5
这个值不能无限大，因为要在内核中维护连接队列
sock.setblocking(bool)
是否阻塞（默认True），如果设置False，那么accept和recv时一旦无数据，则报错。
sock.accept()
接受连接并返回（conn,address）,其中conn是新的套接字对象，可以用来接收和发送数据。address是连接客户端的地址。接收TCP 客户的连接（阻塞式）等待连接的到来
sock.connect(address)
连接到address处的套接字。一般，address的格式为元组（hostname,port）,如果连接出错，返回socket.error错误。
sock.connect_ex(address)
同上，只不过会有返回值，连接成功时返回 0 ，连接失败时候返回编码，例如：10061
sock.close()
关闭套接字
sock.recv(bufsize[,flag])
接受套接字的数据。数据以字符串形式返回，bufsize指定最多可以接收的数量。flag提供有关消息的其他信息，通常可以忽略。
sock.recvfrom(bufsize[.flag])
与recv()类似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。
sock.send(string[,flag])
将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。即：可能未将指定内容全部发送。
sock.sendall(string[,flag])
将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。 内部通过递归调用send，将所有内容发送出去。
sock.sendto(string[,flag],address)
将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。
sock.settimeout(timeout)
设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如 client 连接最多等待5s ）
sock.getpeername()
返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。
sock.getsockname()
返回套接字自己的地址。通常是一个元组(ipaddr,port)
sock.fileno()
套接字的文件描述符
实例：智能机器人
服务端:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
#!/usr/bin/env python# -*- coding:utf-8 -*-import socketip_port = ('127.0.0.1',8888)sk = socket.socket()sk.bind(ip_port)sk.listen(5)while True: conn,address = sk.accept() conn.sendall('欢迎致电 10086，请输入1xxx,0转人工服务.') Flag = True while Flag: data = conn.recv(1024) if data == 'exit': Flag = False elif data == '0': conn.sendall('通过可能会被录音.balabala一大推') else: conn.sendall('请重新输入.') conn.close() |
客户端
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
#!/usr/bin/env python# -*- coding:utf-8 -*-import socketip_port = ('127.0.0.1',8005)sk = socket.socket()sk.connect(ip_port)sk.settimeout(5)while True: data = sk.recv(1024) print 'receive:',data inp = raw_input('please input:') sk.sendall(inp) if inp == 'exit': breaksk.close() |
SocketServer模块
SocketServer内部使用 IO多路复用 以及 “多线程” 和 “多进程” ，从而实现并发处理多个客户端请求的Socket服务端。即：每个客户端请求连接到服务器时，Socket服务端都会在服务器是创建一个“线程”或者“进 程” 专门负责处理当前客户端的所有请求。
SocketServer模块下的ThreadingTCPServer类
ThreadingTCPServer实现的Soket服务器内部会为每个client创建一个 “线程”，该线程用来和客户端进行交互。
1、ThreadingTCPServer基础
使用ThreadingTCPServer:
①创建一个继承自 SocketServer.BaseRequestHandler 的类
②类中必须定义一个名称为 handle 的方法
③启动ThreadingTCPServer
SocketServer实现服务端
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
#!/usr/bin/env python# -*- coding:utf-8 -*-__author__ = 'ryan'import SocketServerimport osclass MyServer(SocketServer.BaseRequestHandler): def handle(self): #print self.request,self.client_address,self.server print "got connection from", self.client_address while True: data = self.request.recv(1024) print "Recv from cmd:%s" %(data) cmd_res = os.popen(data).read() print 'cmd_res:',len(cmd_res) self.request.send(str(len(cmd_res))) self.request.recv(1024)#接收一次，将第一次与第二次之间数据隔开，解决连包问题 self.request.sendall(cmd_res)if __name__ == '__main__': server = SocketServer.ThreadingTCPServer(('127.0.0.1',8009),MyServer) server.serve_forever() |
代码说明:代码说明:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
|
代码说明: server = SocketServer.ThreadingTCPServer(('127.0.0.1',8009),MyServer) #实际上是实例化一个对象server，而参数(('127.0.0.1',8009),MyServer)是定义启动服务的地址和端口，MyServer其实是将上面定义的MyServer类进行实例化，换句话说就是当每次一个请求过来就通过server来实例化一个线程，即创建一个MyServer实例； 具体解释为:每一个客户端请求过来，类ThreadingTCPServer就会把类MyServer进行实例化一次，另外实例化之后服务端要跟客户端进行交互，那么交互的方式就是通过类MyServer中定义的handle方法来实现，然后调用类ThreadingTCPServer中的server_forever方法来启动服务. 另外MyServer类中因为继承了类BaseRequestHandler，所以在MyServer类定义handle方法的实质是对BaseRequestHandler类中的handle方法的改写，因为BaseRequestHandler类的代码中有定义handle方法：源码如下:class BaseRequestHandler: def __init__(self, request, client_address, server): self.request = request self.client_address = client_address self.server = server self.setup() try: self.handle() finally: self.finish() def setup(self): pass def handle(self): pass def finish(self): pass 所以在语句server = SocketServer.ThreadingTCPServer(('127.0.0.1',8009),MyServer)中，其实就是传递两个参数给ThreadingTCPServer类进行创建实例，server.serve_forever()语句其实就是一个while循环，与以前写的，如下:while True: print "waiting receiving from client....." connetcion,address=conn.accept() data = connetcion.recv(1024) print "received from %s,%s" %(address,data) connetcion.send(data) connetcion.close()类似，当然这个不是accept，而是用的select，一直循环，当一个请求过来了，就会把上一句(server = SocketServer.ThreadingTCPServer(('127.0.0.1',8009),MyServer))中传递过来的参数MyServer类名后加一个括号，即MyServer()进行实例化，所以每次客户端请求过来，都会执行一个MyServer()实例操作，即实例化一个对象，而实例化一个对象之后，就要执行类MyServer的__init__方法，但是我们现在定义的类MyServer中没有__init__方法，所以就要到父类中继续查找__init__方法，即:def __init__(self, request, client_address, server): self.request = request self.client_address = client_address self.server = server self.setup() try: self.handle() finally: self.finish() def setup(self): pass def handle(self): pass def finish(self): pass 由于父类中定义了handle方法，而且在try self.handle执行了handle方法，因为在父类中handle方法为空，所以就继续执行子类MyServer中定义的handle方法，这也是为什么我们在定义MyServer类中再定义一个方法时必须取名为handle而不能用其他名字 |
SocketServer实现客户端
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
socketip_port = ()sk = socket.socket()sk.connect(ip_port)sk.settimeout(): inp = () sk.sendall(inp) res_size=sk.recv() res_size(res_size) total_size = (res_size) sk.send(inp)received_size=: data=sk.recv() received_size += (data) total_size == received_size: data data inp == : sk.close() |
2、ThreadingTCPServer源码剖析
ThreadingTCPServer的类图关系如下：
内部调用流程为：
-
启动服务端程序
-
执行 TCPServer.__init__ 方法，创建服务端Socket对象并绑定 IP 和 端口
-
执行 BaseServer.__init__ 方法，将自定义的继承自SocketServer.BaseRequestHandler 的类 MyRequestHandle赋值给 self.RequestHandlerClass
-
执行 BaseServer.server_forever 方法，While 循环一直监听是否有客户端请求到达 ...
-
当客户端连接到达服务器
-
执行 ThreadingMixIn.process_request 方法，创建一个 “线程” 用来处理请求
-
执行 ThreadingMixIn.process_request_thread 方法
-
执行 BaseServer.finish_request 方法，执行 self.RequestHandlerClass() 即：执行 自定义 MyRequestHandler 的构造方法（自动调用基类BaseRequestHandler的构造方法，在该构造方法中又会调用 MyRequestHandler的handle方法）
示例服务端
|
示例客户端
|
源码精简：
|
如精简代码可以看出，SocketServer的ThreadingTCPServer之所以可以同时处理请求得益于 select 和 Threading 两个东西，其实本质上就是在服务器端为每一个客户端创建一个线程，当前线程用来处理对应客户端的请求，所以，可以支持同时n个客户端链接（长连接）。
ForkingTCPServer类
ForkingTCPServer和ThreadingTCPServer的使用和执行流程基本一致，只不过在内部分别为请求者建立"线程"和"进程"。
程序示例如下：
服务端
|
客户端
|
以上ForkingTCPServer只是将 ThreadingTCPServer 实例中的代码：
server = SocketServer.ThreadingTCPServer(('127.0.0.1',8009),MyRequestHandler)变更为：server = SocketServer.ForkingTCPServer(('127.0.0.1',8009),MyRequestHandler)SocketServer的ThreadingTCPServer之所以可以同时处理请求得益于select 和 os.fork 两个东西，其实本质上就是在服务器端为每一个客户端创建一个进程，当前新创建的进程用来处理对应客户端的请求，所以，可以支持同时n个客户端链接（长连接）。
源码剖析参考 ThreadingTCPServer
Twisted
Twisted是一个事件驱动的网络框架，其中包含了诸多功能，例如：网络协议、线程、数据库管理、网络操作、电子邮件等。
事件驱动
简而言之，事件驱动分为二个部分：第一，注册事件；第二，触发事件。
自定义事件驱动框架，命名为：“弑君者”：
最牛逼的事件驱动框架
|
程序员使用“弑君者框架”：
|
如上述代码，事件驱动只不过是框架规定了执行顺序，程序员在使用框架时，可以向原执行顺序中注册“事件”，从而在框架执行时可以出发已注册的“事件”。
基于事件驱动Socket
|
程序执行流程：
-
运行服务端程序
-
创建Protocol的派生类Echo
-
创建ServerFactory对象，并将Echo类封装到其protocol字段中
-
执行reactor的 listenTCP 方法，内部使用 tcp.Port 创建socket server对象，并将该对象添加到了 reactor的set类型的字段 _read 中
-
执行reactor的 run 方法，内部执行 while 循环，并通过 select 来监视 _read 中文件描述符是否有变化，循环中...
-
客户端请求到达
-
执行reactor的 _doReadOrWrite 方法，其内部通过反射调用 tcp.Port 类的 doRead 方法，内部 accept 客户端连接并创建Server对象实例（用于封装客户端socket信息）和 创建 Echo 对象实例（用于处理请求） ，然后调用 Echo 对象实例的 makeConnection 方法，创建连接。
-
执行 tcp.Server 类的 doRead 方法，读取数据，
-
执行 tcp.Server 类的 _dataReceived 方法，如果读取数据内容为空（关闭链接），否则，出发 Echo 的 dataReceived 方法
-
执行 Echo 的 dataReceived 方法
从源码可以看出，上述实例本质上使用了事件驱动的方法 和 IO多路复用的机制来进行Socket的处理。
异步IO操作代码:
|
