day8--socketserver作业
fileno()文件描述符
handle_request()处理单个请求
server_forever(poll_interval=0.5)处理多个请求，poll_interval每0.5秒检测是否关闭，
作业：开发一个支持多用户在线的FTP程序
要求：
1.用户加密认证；
2.允许同时多用户登录；
3.每个用户有自己的家目录，且只能访问自己的家目录；
4.对用户进行磁盘配额，每个用户的可用空间不同；
5.允许用户在ftp.server上随意切换目录；
6.允许用户查看当前目录下文件；
7.允许上传和下载文件，保证文件一致性；
8.文件传输过程中显示进度条；
9.附加功能，支持文件的断点续传。
发送文件的大致思路：
接收文件的大致思路：
遍历空的文件，如果一个文件是空的，Python是不会执行后面缩进的代码的，空的文件。
http://www.cnblogs.com/liujiacai/p/7417953.html
http://www.cnblogs.com/lianzhilei/p/5869205.html
http://www.bubuko.com/infodetail-1758633.html
由于不是做运维的，对一些系统的操作不是很熟悉，因此首先完成了文件的上传与下载：下面来看看这两个功能：
客户端：
import socket,os,json,sys class Myclient(object): '''定义客户端''' def __init__(self): '''定义socket()实例''' self.client = socket.socket() #生成soket()实例 def connect(self,ip,port): """定义连接""" self.client.connect((ip,port)) def interactive(self): '''定义和用户交互''' while True: cmd = input("请输入指令>>：").strip() #用户输入指令 if len(cmd) == 0: print("指令不能为空!!!") continue #指令不能为空 cmd_str = cmd.split()[0] #指令由两种形式 if hasattr(self,cmd_str): #判断指令是否存在 func = getattr(self,cmd_str) #指令存在，则获取对应的方法 func(cmd) elif cmd_str == 'q': break else: self.help() continue def help(self): msg = """ ls pwd cd put filename get filename """ print("指令名称",msg) def put(self,cmd): '''定义上传数据接口''' cmd_list = cmd.split() if len(cmd_list) > 1: '''指令是由指令名和文件名构成''' filename = cmd_list[1] #获取文件名 if os.path.isfile(filename): #检测上传的文件名是否存在 '''文件名存在，则要告诉服务器端上传的文件名，文件大小，并检测服务器是否有相应的方法''' filesize = os.stat(filename).st_size msg_dic = { "action":"put", "filename":filename, "filesize":filesize } '''转换为字节码的形式进行传输''' self.client.send(json.dumps(msg_dic).encode("utf-8")) #转换为json格式进行上传，便于服务器接收后处理 server_response = self.client.recv(1024) #等待服务器传回信息，防止粘包 self.client.send("收到了".encode("utf-8")) if int(server_response.decode("utf-8")): '''根据客户端反馈，服务器端是否存在相同的文件名''' file_exist = int(self.client.recv(1024).decode("utf-8")) if file_exist: '''服务器端存在相应的文件''' while True: cover_flag = input("文件已存在，是否覆盖原文件(y/n)：") if cover_flag == "y": self.client.send("y".encode("utf-8")) break elif cover_flag == "n": new_filename = input("请输入新的文件名>>：") self.client.send(("n "+new_filename).encode("utf-8")) break else: print("您输入的指令有误，请重新输入！！！") continue else: self.client.send("新创建".encode("utf-8")) '''上面准备工作完毕，开始传输文件''' with open(filename,'rb') as f: for line in f: self.client.send(line) #发送数据 '''客户端等待服务器端传来消息，告知上传成功''' response = self.client.recv(1024) print(response.decode("utf-8")) #数据是否上传成功，告知用户 else: print("服务器端不存在相应的指令!!!") else: print("要上传的文件名不存在！") else: print("没有输入要上传的文件名！！！") def get(self,cmd): '''从服务器端下载数据''' cmd_list = cmd.split() #获取用户输入指令 if len(cmd_list) > 1: #是由指令和文件名构成 filename = cmd_list[1] msg_dic = { "filename":filename, "action":"get" } #把指令封装成字典发送给服务器 self.client.send(json.dumps(msg_dic).encode("utf-8")) #把指令以json形式传给服务器 server_response = int(self.client.recv(1024).decode("utf-8")) #接收服务端发挥的指令，判断是否支持此方法 self.client.send("收到指令!".encode("utf-8")) if server_response: file_exists = int(self.client.recv(1024).decode("utf-8")) #下载文件存在与否标识符 self.client.send("收到标识符".encode("utf-8")) #告知服务器收到标识符，防止粘包 if file_exists: '''文件存在，则准备接收数据，会接收服务器发送过来的文件大小''' file_mess = json.loads(self.client.recv(3072).decode("utf-8")) self.client.send("文件信息接收成功，开始进行文件接收！".encode("utf-8")) filesize = file_mess["filesize"] while True: '''确定文件名''' if os.path.isfile(filename): '''说明客户端存在文件，就要让用户选择是否覆盖''' choice_cover = input("文件名重复，是否覆盖现有文件(y/n)>>：") if choice_cover == "y": filename = filename break #覆盖文件之后退出循环 elif choice_cover == "n": filename = input("请输入新的文件名>>：") '''由于用户输入了新的用户名，我们不知道此文件是否重名，因此重新检测一下，确保不重名''' continue else: filename = filename break #得到文件名之后退出循环 recvive_size = 0 with open(filename,'wb') as file: while recvive_size < filesize: data = self.client.recv(1024) file.write(data) recvive_size += len(data) print("数据下载完成！！！") self.client.send("接收完毕".encode("utf-8")) else: print("要下载的文件不存在！！！") else: print("服务器不支持此功能！！！") else: print("对不起，输入有误！") self.help() if __name__ == "__main__": try: client = Myclient() client.connect("localhost",9998) client.interactive() except KeyboardInterrupt as e: print("客户端断开!!!",e)
上面客户端只实现了上传和下载功能，没有实现其他系统操作有关的功能，后续将逐步完善；
服务器端：
'''定义服务器端''' import socketserver,json,os class MyTcpServer(socketserver.BaseRequestHandler): '''定义服务器端，socketserver，继承的是BaseRequestHandler类''' def handle(self): '''服务器端所有的功能都在handle()里面进行处理，因此接收数据也是在handle()中，只是处理的时候，调用下面模块而已''' while True: data = self.request.recv(3072) if len(data) == 0: print("客户端断开") break msg_dic = json.loads(data.decode("utf-8")) #服务器端接收指令 cmd = msg_dic["action"] if hasattr(self,cmd): #判断服务器是否有相应的指令 self.request.send("1".encode("utf-8")) self.request.recv(1024) func = getattr(self,cmd) func(msg_dic) else: self.request.send("0".encode("utf-8")) self.request.recv(1024) def put(self,msg_dic): '''定义上传的服务器代码''' filename = msg_dic['filename'] filesize = msg_dic["filesize"] '''判断服务器端是否存在对应的文件名''' recvive_size = 0 if os.path.isfile(filename): '''如果服务器存在相应的文件名，则询问客户端是否覆盖''' self.request.send("1".encode("utf-8")) #文件存在，循环客户端是否覆盖 response = self.request.recv(1024).decode("utf-8") response = response.split() '''如果用户让覆盖则覆盖，否则重新创建''' if response[0] == "y": '''覆盖''' with open(filename,"wb") as f1: while recvive_size < filesize: data = self.request.recv(1024) f1.write(data) recvive_size += len(data) self.request.send("文件接收成功！".encode("utf-8")) else: '''不覆盖,新创建''' new_filename = response[1] with open(new_filename,'wb') as f: while recvive_size < filesize: data1 = self.request.recv(1024) f.write(data1) recvive_size += len(data1) self.request.send("文件接收成功！".encode("utf-8")) else: '''如果服务器不存在相应文件名，则创建''' self.request.send("0".encode("utf-8")) self.request.recv(1024) with open(filename,'wb') as f2: while recvive_size < filesize: data1 = self.request.recv(1024) f2.write(data1) recvive_size += len(data1) self.request.send("文件接收成功！".encode("utf-8")) def get(self,msg_dict): '''基础交流结束，服务器支持文件下载功能，开始文件下载操作''' filename = msg_dict["filename"] if os.path.isfile(filename): self.request.send("1".encode("utf-8")) #文件存在告知客户端 self.request.recv(1024) filesize = os.stat(filename).st_size '''首先告知客户端文件大小，让这边做好接收准备''' file_mess = { "filesize":filesize, } self.request.send(json.dumps(file_mess).encode("utf-8")) #以json格式发送给客户端 self.request.recv(1024) #防止粘包，客户端回应服务器接收完毕 with open(filename,"rb") as f_obj: for line in f_obj: self.request.send(line) self.request.recv(1024) else: self.request.send("0".encode("utf-8")) #文件不存在，告知客户端 self.request.recv(1024) if __name__ == "__main__": try: IP,PORT = "localhost",9998 server = socketserver.ThreadingTCPServer((IP,PORT),MyTcpServer) #定义socketserver实例 server.serve_forever() except KeyboardInterrupt as e: print("关闭服务器")
上面代码是服务器端，客户端与服务器端其实是相呼应的，两者实现数据的交换；其实就是收发数据，中间掺杂我们想要实现的功能。
下面来看几个容易犯错的地方：
1、BrokenPipeError: [Errno 32] Broken pipe
客户端代码：
import socket,os,json,sys class Myclient(object): '''定义客户端''' def __init__(self): '''定义socket()实例''' self.client = socket.socket() #生成soket()实例 def connect(self,ip,port): """定义连接""" self.client.connect((ip,port)) def interactive(self): '''定义和用户交互''' while True: cmd = input("请输入指令>>：").strip() #用户输入指令 if len(cmd) == 0: print("指令不能为空!!!") continue #指令不能为空 cmd_str = cmd.split()[0] #指令由两种形式 if hasattr(self,cmd_str): #判断指令是否存在 func = getattr(self,cmd_str) #指令存在，则获取对应的方法 func(cmd) elif cmd_str == 'q': break else: self.help() continue def help(self): msg = """ ls pwd cd put filename get filename """ print("指令名称",msg) def put(self,cmd): '''定义上传数据接口''' cmd_list = cmd.split() if len(cmd_list) > 1: '''指令是由指令名和文件名构成''' filename = cmd_list[1] #获取文件名 if os.path.isfile(filename): #检测上传的文件名是否存在 '''文件名存在，则要告诉服务器端上传的文件名，文件大小，并检测服务器是否有相应的方法''' filesize = os.stat(filename).st_size msg_dic = { "action":"put", "filename":filename, "filesize":filesize } '''转换为字节码的形式进行传输''' self.client.send(json.dumps(msg_dic).encode("utf-8")) #转换为json格式进行上传，便于服务器接收后处理 server_response = self.client.recv(1024) #等待服务器传回信息，防止粘包 self.client.send("收到了".encode("utf-8")) if int(server_response.decode("utf-8")): '''根据客户端反馈，服务器端是否存在相同的文件名''' file_exist = int(self.client.recv(1024).decode("utf-8")) if file_exist: '''服务器端存在相应的文件''' while True: cover_flag = input("文件已存在，是否覆盖原文件(y/n)：") if cover_flag == "y": self.client.send("y".encode("utf-8")) break elif cover_flag == "n": new_filename = input("请输入新的文件名>>：") self.client.send(("n "+new_filename).encode("utf-8")) break else: print("您输入的指令有误，请重新输入！！！") continue else: self.client.send("新创建".encode("utf-8")) '''上面准备工作完毕，开始传输文件''' with open(filename,'rb') as f: for line in f: self.client.send(line) #发送数据 '''客户端等待服务器端传来消息，告知上传成功''' response = self.client.recv(1024) print(response.decode("utf-8")) #数据是否上传成功，告知用户 else: print("服务器端不存在相应的指令!!!") else: print("要上传的文件名不存在！") else: print("没有输入要上传的文件名！！！") def get(self,cmd): '''从服务器端下载数据''' cmd_list = cmd.split() #获取用户输入指令 if len(cmd_list) > 1: #是由指令和文件名构成 filename = cmd_list[1] msg_dic = { "filename":filename, "action":"get" } #把指令封装成字典发送给服务器 self.client.send(json.dumps(msg_dic).encode("utf-8")) #把指令以json形式传给服务器 server_response = int(self.client.recv(1024).decode("utf-8")) #接收服务端发挥的指令，判断是否支持此方法 self.client.send("收到指令!".encode("utf-8")) if server_response: file_exists = int(self.client.recv(1024).decode("utf-8")) #下载文件存在与否标识符 self.client.send("收到标识符".encode("utf-8")) #告知服务器收到标识符，防止粘包 if file_exists: '''文件存在，则准备接收数据，会接收服务器发送过来的文件大小''' file_mess = json.loads(self.client.recv(3072).decode("utf-8")) self.client.send("文件信息接收成功，开始进行文件接收！".encode("utf-8")) filesize = file_mess["filesize"] while True: '''确定文件名''' if os.path.isfile(filename): '''说明客户端存在文件，就要让用户选择是否覆盖''' choice_cover = input("文件名重复，是否覆盖现有文件(y/n)>>：") if choice_cover == "y": filename = filename break #覆盖文件之后退出循环 elif choice_cover == "n": filename = input("请输入新的文件名>>：") '''由于用户输入了新的用户名，我们不知道此文件是否重名，因此重新检测一下，确保不重名''' continue else: filename = filename break #得到文件名之后退出循环 recvive_size = 0 with open(filename,'wb') as file: while recvive_size < filesize: data = self.client.recv(1024) file.write(data) recvive_size += len(data) print("数据下载完成！！！") self.client.send("接收完毕".encode("utf-8")) else: print("要下载的文件不存在！！！") else: print("服务器不支持此功能！！！") else: print("对不起，输入有误！") self.help() if __name__ == "__main__": try: client = Myclient() client.connect("localhost",9998) client.interactive() except KeyboardInterrupt as e: print("客户端断开!!!",e)
服务器端：
'''定义服务器端''' import socketserver,json,os class MyTcpServer(socketserver.BaseRequestHandler): '''定义服务器端，socketserver，继承的是BaseRequestHandler类''' def handle(self): '''服务器端所有的功能都在handle()里面进行处理，因此接收数据也是在handle()中，只是处理的时候，调用下面模块而已''' # while True: data = self.request.recv(3072) if len(data) == 0: print("客户端断开") # break msg_dic = json.loads(data.decode("utf-8")) #服务器端接收指令 cmd = msg_dic["action"] if hasattr(self,cmd): #判断服务器是否有相应的指令 self.request.send("1".encode("utf-8")) self.request.recv(1024) func = getattr(self,cmd) func(msg_dic) else: self.request.send("0".encode("utf-8")) self.request.recv(1024) def put(self,msg_dic): '''定义上传的服务器代码''' filename = msg_dic['filename'] filesize = msg_dic["filesize"] '''判断服务器端是否存在对应的文件名''' recvive_size = 0 if os.path.isfile(filename): '''如果服务器存在相应的文件名，则询问客户端是否覆盖''' self.request.send("1".encode("utf-8")) #文件存在，循环客户端是否覆盖 response = self.request.recv(1024).decode("utf-8") response = response.split() '''如果用户让覆盖则覆盖，否则重新创建''' if response[0] == "y": '''覆盖''' with open(filename,"wb") as f1: while recvive_size < filesize: data = self.request.recv(1024) f1.write(data) recvive_size += len(data) self.request.send("文件接收成功！".encode("utf-8")) else: '''不覆盖,新创建''' new_filename = response[1] with open(new_filename,'wb') as f: while recvive_size < filesize: data1 = self.request.recv(1024) f.write(data1) recvive_size += len(data1) self.request.send("文件接收成功！".encode("utf-8")) else: '''如果服务器不存在相应文件名，则创建''' self.request.send("0".encode("utf-8")) self.request.recv(1024) with open(filename,'wb') as f2: while recvive_size < filesize: data1 = self.request.recv(1024) f2.write(data1) recvive_size += len(data1) self.request.send("文件接收成功！".encode("utf-8")) def get(self,msg_dict): '''基础交流结束，服务器支持文件下载功能，开始文件下载操作''' filename = msg_dict["filename"] if os.path.isfile(filename): self.request.send("1".encode("utf-8")) #文件存在告知客户端 self.request.recv(1024) filesize = os.stat(filename).st_size '''首先告知客户端文件大小，让这边做好接收准备''' file_mess = { "filesize":filesize, } self.request.send(json.dumps(file_mess).encode("utf-8")) #以json格式发送给客户端 self.request.recv(1024) #防止粘包，客户端回应服务器接收完毕 with open(filename,"rb") as f_obj: for line in f_obj: self.request.send(line) self.request.recv(1024) else: self.request.send("0".encode("utf-8")) #文件不存在，告知客户端 self.request.recv(1024) if __name__ == "__main__": try: IP,PORT = "localhost",9998 server = socketserver.ThreadingTCPServer((IP,PORT),MyTcpServer) #定义socketserver实例 server.serve_forever() except KeyboardInterrupt as e: print("关闭服务器")
上面代码是我遇到的坑，客户端没有变，只变了服务器端接收的代码，因为socketserver.serve_forever()持续的响应链接。结果客户端输入命令如下：
请输入指令>>：gcx 指令名称 ls pwd cd put filename get filename 请输入指令>>：put gcx 文件已存在，是否覆盖原文件(y/n)：y 文件接收成功！ 请输入指令>>：put gcx Traceback (most recent call last): File "/home/zhuzhu/day8作业/FTP/Ftpclient/ftp_client.py", line 154, in <module> client.interactive() File "/home/zhuzhu/day8作业/FTP/Ftpclient/ftp_client.py", line 24, in interactive func(cmd) File "/home/zhuzhu/day8作业/FTP/Ftpclient/ftp_client.py", line 59, in put self.client.send("收到了".encode("utf-8")) BrokenPipeError: [Errno 32] Broken pipe
上面客户端执行结果可以看出，第一次执行没有问题，程序成功的接收到了服务器下载的数据，但是第二次操作的时候，开始报错，提示BrokenPipeError，这是什么错误呢？
ThreadingHTTPServer 实现的 http 服务，如果客户端在服务器返回前，主动断开连接，则服务器端会报 [Errno 32] Broken pipe 错，并导致处理线程 crash.
上面说明，我们交互一次之后，服务器端已经断开了，不是说socketserver()的客户端一直处在活跃状态吗？是处在活跃状态没错，但是上一个链接其实已经断开了，这是socket的特性，如果没有程序接收数据，接收一次就会断开，因此要修改接收的代码，如下：
class MyTcpServer(socketserver.BaseRequestHandler): '''定义服务器端，socketserver，继承的是BaseRequestHandler类''' def handle(self): '''服务器端所有的功能都在handle()里面进行处理，因此接收数据也是在handle()中，只是处理的时候，调用下面模块而已''' while True: data = self.request.recv(3072) if len(data) == 0: print("客户端断开") break msg_dic = json.loads(data.decode("utf-8")) #服务器端接收指令 cmd = msg_dic["action"] if hasattr(self,cmd): #判断服务器是否有相应的指令 self.request.send("1".encode("utf-8")) self.request.recv(1024) func = getattr(self,cmd) func(msg_dic) else: self.request.send("0".encode("utf-8")) self.request.recv(1024)
上面只需修改handle()中的代码，让服务器端能够持续不断的接收数据，如上面代码所示，加上一个while循环，让服务器能够不断接收此链接的信息，除非这个链接断开，否则是不会终端这个链接与服务端的交互，socketserver()实现的功能时多个客户端与服务端能够同时进行交互，使其相互之间不受影响，本质上单个客户端与服务器之间的交互还是基础的socket实现的，如果不持续的接收，那么交互一次就会断开。
上面的交互如下所示：
请输入指令>>：put gcx 文件已存在，是否覆盖原文件(y/n)：y 文件接收成功！ 请输入指令>>：put zmz 文件已存在，是否覆盖原文件(y/n)：y 文件接收成功！ 请输入指令>>：put gcx 文件已存在，是否覆盖原文件(y/n)：y 文件接收成功！ 请输入指令>>：客户端断开!!!
从上面代码可以看出，我们实现了持续的数据交换情况，没有发生太大的问题。
2、反射的时候，反射是判断类中是否具有某种方法，hasattr(),getattr()是最常使用的方法；
3、while a < b:
with open(filename) as f:
for line in f
与
wiht open(filename) as f:
while a < b:
for line in f
上面两种写法是不一样的，为什么说呢，第一种方法，当文件遍历玩的时候，不管条件成立与否，文件都是要关闭的，这是因为with打开文件具有自动关闭文件的特性，当文件遍历完成之后，就会自动关闭文件。
建议使用第二种方式，第二种方式就会杜绝这种情况，让程序能够即完成比较，由遍历完成文件。
4、socketserver与socket的区别，其实两者本质都是一样的，原则上都是交互一次结束，只是socketserver封装了很多方法，能够实现不相互干扰下的交互；
5、文件传输，要告知文件大小，方便接收，json的使用，序列化，让彼此接受的时候，容易得到之前存储的结果；
6、规范化封装；
