effictive-python笔记

第一章 用Pythonic方式来思考
1、确认自己所用的python版本（python3）
两个主流的python版本：python2（2020年就不维护） python3（推荐）
多种流行的python运行时环境 CPython（默认）, Jython(java)
IronPython,PyPy(JIT,python2效果显著，python3基本无效果)
2、遵循PEP8风格指南
PEP8列出很多细节，以描述如何撰写清晰的python代码。
空白
使用空格表示缩进，不适用tab制表符
和语法相关的每一层缩进用4个空格表示
每行字符数不应超过79
占据多行的长表达式，除了首行之外的，其余行需要再之前的级别上再加4个空格
文件中函数与类之间应该用两个空行隔开
同一个类中，个方法之间应该用一个空行隔开
使用下表获取列表元素，调用函数或给关键字参数赋值的时候，不要再两边加空格。
a[0]
未变量赋值的时候，左右两侧应该加上空格,而且只写一个就好
a = b
命名
函数、变量及属性应该用小写字母来拼写，单词之间用下划线连接
def test_a(), my_name, self.my_name
受保护的实例属性，应该以单个下划线开头
self._leading_underscore
私有的实例属性，应该以两个下划线开头
self.__double_leading_underscore
类与异常，每个单词首字母均大写的格式
CapitalizedWord
模块级别的常量，全部大写
ALL_CAPS
类中的实例方法，应该把首个参数命名为self，表示对象自己
类方法的首个参数应该命名为cls，表示类自己
表达式与语句
采用内联形式的否定词，if a is not b而不是if not a is b
不要通过检测长度的方法来判断列表是否为空,if not somelist而不是if len(somelist) == 0
检测somelist是否为[1]或“hi”等非空值时，也应如此.
不要编写单行的if语句、for循环、while循环及except复合语句，而应该把这些语句分成多行来书写
import语句应该总是放在文件开头
引入模块的时候，使用绝对路径而不是相对路径
如果一定要以相对路径来写import语句，应采用 from . import foo
文件中那些import语句应该按顺序分成三个部分。分别表示标准库模块，第三方模块，自用模块
import sys

import requests

import myself
3、了解bytes、str与unicode的区别
python3 有两种字符序列类型 bytes和str，前者包含原始的8位值
后者包含unicode
python3 str和unicode，str包含原始的8位值，unicode包含unicode
把unicode转为二进制文件有很多种方法，常见的是设置编码方式为utf-8。
unicode转二进制 encode
二进制转unicode decode
编写python程序的时候，编码和解码放到界面最外围，核心部分使用unicode字符类型。
有两个问题要注意
一、python2中，如果str包含7个ascii那么unicode和str似乎成了同一个类型。
在只处理ascii情境下，如果某函数接受str，那么可以传入unicode，如果接受unicode，也可以传入str。而在python3中bytes和str不等价。
二、如果使用内置open函数获取文件句柄.python3默认使用utf-8
，python3默认是二进制。可以将模式改为wb适配
4、用辅助函数来取代复杂的表达式
如果表达式变得复杂，可以将其拆解成小块，移入辅助函数。
5、了解切割序列的办法
对原列表进行切割之后，会产生新的列表，修改新列表不会影响原列表
对list赋值的时候，如果使用切片操作，就会把原列表中处于相关范围内的值替换成新值。长度不同也可以替换。
6、单词切片操作内，不要同时指定start、end、和stride
如果stride为负数，可以考虑将其拆解成两条赋值语句。一条做范围切割，一个做步进切割。或者使用内置itertools模块的islice
7、使用列表推到来取代map和filter（字典和集合也支持）
代码更加清晰
8、不要使用超过两个以上的表达式的列表推导
9、用生成器表达式来改写数据量较大的里列表推导
将中括号改为小括号即可将列表推导改为生成器
数据量太大，列表推到会因为占用太多内存出问题。
10、尽量用enumerate取代range
enumerate可以将迭代器包装为生成器，返回索引和元素。
11、用zip函数同时遍历两个迭代器
python2中zip不是生成器，如果列表太大也会有内存问题
python3中zip相当于生成器
如果两个迭代器长度不通过，会表现出奇怪的行为。
遍历到长度最小的迭代器。
itertools内置模块中的zip_longest函数可以平行的遍历多个迭代器，不用在乎长度是否相等
12、不要在for和while循环后面写else块
13、合理利用try\except\else\finally结构中的每个代码块
else块可以用来缩减try中代码量，把没有发生异常时索要执行的语句与try/except代码块分隔开

第二章 函数
14、尽量用异常来表示特殊情况，而不要返回None
15、了解如何在闭包里使用外围作用域中的变量
在表达式中引用变量时，python解释器将按如下顺序遍历各作用域，以解析该引用
当前函数作用域
任何外围作用域 （闭包外围函数的作用域）
包含当前代码的那个模块的作用域（全局作用域）
内置作用域（包含len和str等函数的那个作用域）
如果都没有名称相符的变量，抛出NameError异常。
闭包内如果使用了外围的变量，相当于在闭包内定义了一个新的变量，闭包外该变量不改变。
如何获取闭包内的数据
使用nonlocal，python2不支持，可以使用列表替代
16、考虑用生成器来改写直接返回列表的函数
17、在参数上面迭代时，要多加小心
把__iter__方法实现为生成器，即可定义自己的容器类型
判断某个值是迭代器还是容器，可以拿该值作为参数，两次调用iter函数，结果相同则是迭代器。调用next函数，可令该迭代器前进一步。
18、用数量可变的位置参数减少视觉杂讯
只有当我们能够确定输入的参数个数较少时，才应该令函数接受*arg的变长参数
19、用关键字参数来表达可选的行为。
位置参数必须在关键字参数之前
20、用None和文档字符串来描述具有动态默认值的参数
参数默认值时可变类型时，如list或者dict，传入函数作为参数时默认值应该为None
21、用只能以关键字形式指定的参数类确保代码清晰

 

第三章 类与继承（需要多次复读深入理解）
22、尽量用辅助类来维护程序的状态，而不要用字典和元组
不要使用包含其他字典的字典，也不要使用过长的元组
如果容器中包含简单而又不可变的数据，那么可以使用namedtuple。如果有需要，再需改为完整的类
保存内部状态的字段如果变得比较复杂，应该把这些代码拆解为多个辅助类。
23、简单的接口应该接受函数，而不是类的实例
对于连接各种python组件的简单接口来说，通常应该给其直接传入函数，而不是先定义某个类，再传入该类的实例。
24、以@classmethod的形式的多态去通用地构建对象
在python程序中，每个类只能有一个构造器，__init__方法
通过@classmethod机制，可以用一种与构造器相仿的凡是来构造类的对象
通过类方法多态机制，我们能够以更加通用的方式来构建并拼接具体的子类
25、用super初始化父类
python2.2增加了内置的super函数，并且定义了方法解析顺序（method resolution order MRO）。
python2
super(ClassName， self).-_init__()
python3
super(__class, self).__init__()
26、只在使用Mix-in组件制作工具类时进行多重继承（需要多次复读深入理解）
27、多用public属性，少用private属性
python编译器无法严格保证private字段的私密性
不要盲目将属性设为private
应该多用protected属性
只有当子类不受自己控制时，才考虑用private避免名称冲突
28、继承collections.abc以实现自定义的容器类型
如果要定制的子类比较简单，可以直接从python容器类型（list和dict）继承
想正确实现自定义的容器类型，可能需要编写大量的特殊方法
编写自制的容器类型时，可以从collections.abc模块的抽象基类中继承，那些基类可以确保我们的子类具备适当的接口及行为。
第四章 元类及属性
29、用纯属性取代get和set方法
编写新类时，应该用简单的public属性来定义其接口，而不要手工实现set和get方法
如果访问对象的某个属性时，需要表现出特殊的行为，用@proerty来定义
@property方法需要执行的迅速一些，缓慢或复杂的工作，应该放在普通的方法里面。
30、考虑用@property来代替属性重构（多次复读深入理解）
@property可以为现有的实例属性添加新的功能
可以用@property逐步完善数据模型
如果@property使用太过频繁，应该考虑重构该类
31、用描述符来改写需要复用的@property方法
如果想复用@property方法及其验证机制，可以自己定义描述符类
WeakKeyDictionary可以保证描述符类不会泄露内存。
通过描述符协议来实现属性的获取和设置操作时，不要纠结与__getattribute__的方法具体运作细节。
32、用__getattr__、__getattribute__和__setattr__实现按需生成的属性（多次复读深入理解）
33、用元类来验证子类
通过元类，我们可以在生成子类对象之前，先验证子类的定义是否合乎规范
python2和python3指定元类的语法略有不同
python系统把子类的整个class语句体处理完毕之后，会调用其元类的__new__方法
34、用元类类注册子类
35、用元类来注解类的属性
第五章 并发与并行
36、用subprocess模块来管理子进程

subprocess.Popen()
可以给communicate方法传入timeout参数，避免子进程死锁或失去相应
37、可以用线程来执行阻塞式I/O，但不要用它做平行计算
标准的Python实现叫做CPython，分两步运行Python程序。首先把文本形式的源代码解析并编译成字节码。然后，用一种基于栈的解释器来运行这份字节码。执行Python程序时，字节码解释器必须保持协调一致的状态。Python采用GIL(全局解释器所)机制来确保这种协调性。
GIL实际上就是一把互斥锁，用以防止CPython受到占先式多进程切换操作的干扰。所谓占先式多线程切换，是指某个线程可以通过打断另外一个线程的方式，来获取程序控制权。如果执行时机不恰当，会破坏解释器的状态。
38、在线程中使用Lock来防止数据竞争（threading的Lock）
为了保证所有的线程都能够公平的执行，Python解释器会给每个线程分配大致相等的处理器时间。为了达成这样的分配策略，Python解释器可能当某个线程正在执行的时候，将其暂停，然后使另一个线程继续往下执行。问题在于，开发者无法准确获知Python系统何时暂停这些线程。所以可能导致数据竞争。
39、用Queue来协调各线程之间的工作（类似golang中的channel）
40、考虑用写成来并发地运行多个函数
为了确保数据安全，需要做额外的工作（Lock互斥锁）
线程占用大量内存，开销大
41、考虑用concurrent.futures来实现真正的平行计算（concurrent.futures中的multiprocessing模块）
该模块以子进程的形式，平行地运行多个解释器，从而令Python程序能够利用多核心CPU来提升执行速度。由于子进程与主解释器相分离，所以它们的全局解释器锁也是互相独立的。每个子进程都可以完整地利用一个CPU内核。并且都与主进程之间有着联系。
第六章 内置模块
42、用functools.wraps定义函数装饰器
普通的装饰器返回的不是原函数，可能导致问题。使用wraps装饰器会把内部函数相关的重要元数据全部复制到外围函数。
43、考虑用contextlib和with语句来改写可复用的try/finally代码
with语句会自动关闭，contextlib中的contextmanager装饰器，可以让开发者自己编写的对象和函数支持with语句。如果按标准方式来做，需要定义新的类，并提供名为__enter__,__exit__的特殊方法。
情境管理器可以用过yield语句向with语句返回一个值，此值会赋给由as关键字所指定的变量。该机制阐明了这个特殊情境的编写动机，并令with块中的语句能够直接访问这个目标变量。
44、用copyreg实现可靠的pickle操作
内置的pickle模块能够将Python对象序列化为字节流，也能将字节反序列化为Python对象。但是采用的是不安全的格式。json模块采用的是安全的格式。
45、应该用datetime模块来处理本地时间，而不是用time模块
46、使用内置算法和数据结构
双向队列 collections模块的deque类
有序字典 collections模块的OrderedDict类
带有默认值的字典 collections的defaultdict类
堆队列 heap
二分查找 bisect模块中的bisect_left函数
与迭代器有关的工具 itertools模块中提供大量的函数
47、在重视精确度的场合，应该使用decimal
48、学会安装由Python开发者社区所构建的模块
第七章 协作开发
49、为每个函数、类和模块编写文档字符串
50、用包来安排模块，并提供稳固的API
51、为自编的模块定义根异常，以便将调用者与API相隔离
52、用且当的方式打破循环依赖关系
调整引入顺序 将import移动到app底部
先引入，再配置，最后运行 将import移动到函数中
动态引入 上述两种的结合
如果两个模块必须相互调用对方，才能完成引入操作，就会出现循环依赖现象，可能导致程序启动崩溃
打破循环依赖关系的最佳方案，是把导致两个模块相互依赖的那部分代码，重构为单独的模块，放到依赖树的底部。
打破循环依赖关系的最简方案，是执行动态的模块引入操作，这样既可以缩减重构精力，也可以尽量降低代码复杂度。
53、用虚拟环境隔离项目，并重建其依赖关系（3.4及以上用pyenv，以下用virtualenv）
第八章 部署
54、考虑用模块级别的代码来配置不同的部署环境
55、通过repr字符串来输出调试信息
56、用unittest来测试全部代码
57、考虑用pdb实现交互调试
58、先分析性能，然后再优化（cProfile）
59、用tracemalloc来撞我内存的使用及泄露情况