python基础整理笔记（九）
一. socket过程中注意的点
1. 黏包问题
所谓的黏包就是指，在TCP传输中，因为发送出来的信息，在接受者都是从系统的缓冲区里拿到的，如果多条消息积压在一起没有被读取，则后面读取时可能无法分辨消息之间的分隔，造成读取的时候把前后多条消息的内容连起来读出来，就造成了错误。比较靠谱的解决方式是：一端在发送完消息以后，需要接收一次消息，另一端在第一次接收完消息以后，发送一次消息，这样间隔处理；这样就会保证每次接收的消息都是完整到结束的，因为对方在每次发送完整消息以后，都会接收消息以停止发送。在接收长消息的时候，可以先发送长度，然后接收端根据长度迭代不断接收信息。
2. socketserver库
在写一个基础的socket的服务端时，我们需要做建立socket、绑定端口、开启监听、阻塞在等待连接（以获得连接的地址和socket），这样几个步骤。如下图所示：
服务端流程示例代码此外这样的过程是无法并发的，也就是说同一个server同时只能连接一个client并接受其请求，其他client都是被阻塞的（在listen范围内的是会等待，其他则无法连接），等到连接的client断开连接后，才能连接上。
但是我们可以使用socketserver！这个库的一些对象及其方法，封装了上面的一系列动作，我们只需要简单传入需要绑定的地址端口，并使用其方法启动server即可。而且socketserver可以通过io多路复用、多进程、多线程等方式支持服务多个客户端的连接，且并不需要我们自己实现或修改代码。
二. python的logging 模块
1. python中的logging模块，能够比较方便地帮我们管理写日志的一些流程，封装了文件处理、控制台输出、控制输出的样式一系列操作，非常简单易用。
官方文档流程图：
2. 下面是我写的一段简单示例：
1 import logging, os 2 import util as UT 3 4 5 def set_logger(log_name): 6 logger = logging.getLogger(log_name) 7 logger.setLevel(logging.DEBUG) 8 9 # 这是设置写日志文件的句柄 10 # 文件路径随意...如果是写得相对路径，会在具体调用的文件的相对路径 11 # 所以会导致不同调用不同位置，还是绝对路径好。 12 # FileHandler默认模式为追加。 13 fh = logging.FileHandler(os.path.join(UT.PROJECT_DIR, '%s.log' % log_name)) 14 fh.setLevel(logging.DEBUG) 15 16 # 该句柄用于输出到控制台； 17 # 单独只有上面一个句柄，控制台里没有输出。 18 ch = logging.StreamHandler() 19 ch.setLevel(logging.DEBUG) 20 21 # 写文件的句柄还可以设定固定的一些样式 22 # 比如这里写的是输出的时间，句柄名，log级别，然后是具体信息 23 formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s') 24 fh.setFormatter(formatter) 25 ch.setFormatter(formatter) 26 27 # 添加句柄给日志 28 logger.addHandler(fh) 29 logger.addHandler(ch) 30 31 return logger 32 33 # 我在这里写了两个日志，这样在其他文件import这两个日之后 34 # 就会一直保持追加写入，类似单例的效果 35 36 logger_err = set_logger('error') 37 logger_flow = set_logger('flow')
3. logging的示例可以设置多种警告级别，从debug,info,warn,error到critial，都是方法可以直接调用，会在日志里面警告级别的地方显示出来。
调用的地方示例：
1 import MyLogging as ML 2 3 4 try: 5 msg = 'AAAAAAA' 6 ML.logger_flow.info(msg) 7 8 except Exception as e: 9 ML.logger_err.error(e)
4. logging还有些其他的方法比如Filter。限制只有满足过滤规则的日志才会输出。
比如我们定义了filter = logging.Filter('a.b.c'),并将这个Filter添加到了一个Handler上，则使用该Handler的Logger中只有名字带a.b.c前缀的Logger才能输出其日志。
示例如下：
1 filter = logging.Filter('flow.aaa.bbb') 2 fh.addFilter(filter)
5. 我们在生产中其实会遇到一个更常见的问题，就是可能会一直打印日志，因为日志文件一直追加，所以日志文件会越来越大。这种时候我们就需要rotation功能，要日志在写满一定大小，或者根据时间自动去拆分，
等到满足条件以后，就写到一个新的文件里。logging模块是可以设置的。
此时需要使用RotatingFileHandler或者TimedRotatingFileHandler，前者是按照文件大小分割，后者按照时间。使用示例如下：
1 from logging.handlers import RotatingFileHandler as RFHandler 2 3 # maxBytes是设定最大大小，backupCount是最多备份文件个数 4 # 默认模式为a 即追加 5 fh = RFHandler('aaa.log', maxBytes=1024 * 1024 * 100, backupCount=10, delay=0.05) 6 7 # 后面的使用与普通FileHandler一样 8 fh.setLevel(logging.DEBUG)
但是我在使用中曾经发现，python自带的logging模块的Rotataion句柄，在面对并发的时候，处理rotation的效果非常之诡异！有时候写到了各种不同的log的备份里，有时候log的备份文件又不是按照时间流写的...总之有问题，并发不安全...
然后我发现一个第三方的句柄是安全的，叫cloghandler，大家可以试试！使用的方法完全一致~
1 # 像这样用好了，完全一致的 2 try: 3 from cloghandler import ConcurrentRotatingFileHandler as RFHandler 4 except ImportError: 5 from warnings import warn 6 warn("ConcurrentLogHandler package not installed. Using builtin log handler") 7 from logging.handlers import RotatingFileHandler as RFHandler
三. 第三方库“Q”！
既然提到了logging，我再介绍个挺有用的很小的第三方库，叫Q。其作用是更简单地封装了一些写日志的操作...如果你需要在一些情况下临时增加打印调试问题，可以用用~（我只在生产的linux环境上玩过，也不造win下咋样的能不能用...）
使用 "pip install -U q"来安装，默认会把日志追加输出到 /tmp/q 这个文件里。如果设置了$TMPDIR环境变量，输出将会保存在$TMPDIR/q文件中。我们也可以设置环境变量TEMP、TEMPDIR和TMP来替代TMPDIR环境变量。
想要打印的简单，示例：
1 import q 2 3 a = 'da1e1' 4 q(a)
这样就可以了，在log里，q会自动带上打印的文件信息、位置、时间、耗时、变量类型等等...是不是超方便的...如果打印的是个内容非常大的，q还会在/tmp下生成一个对应的完整内容的日志，在q里就只是显示一部分。
甚至可以不用定义变量，直接打印表达式，或者直接插入到运行的代码里也是可以的，不会影响代码执行。示例如下：
1 # 打印(seq or '') 2 file.write(prefix + q(seq or '').join(items)) 3 # 打印变量prefix 4 file.write(q/prefix + (seq or '').join(items)) 5 # 打印变量prefix 6 file.write(q|prefix + (seq or '').join(items)) 7 8 #用q(), \, |三种方式效果是一样的，就看怎么方便吧
想要追踪函数的参数和返回值，将q当做一个装饰器使用！示例如下：
1 import q 2 3 @q 4 def a(a1, a2): 5 return a1 + a2
还可以在代码任意地方调用 q.d(),启动交互控制台。
综上，是不是超级特级方便好用！！！！！在没法debug，不能用pdb，或者复杂的并发情况下，这种打印真是太提高调试效率了~~~
