第五节，python基本语法
1、类（Class）
Python中的类的概念与其它语言类似，比较特殊的是protected和private在python中没有明确的限制，通常的惯例是用单下划线_表示protected，用双下划线开头__的表示private。
class A: '''Class A''' def __init__(self,x,y,name): self.x=x self.y=y self.name=name def introduce(self): print(self.name) def greeting(self): print("what's up!") def __12norm(self): return self.x**2+self.y**2 def cla_12norm(self): return self.__12norm() a=A(11,11,'Lenaa') print(A.__doc__) #打印类解释信息“Class A" a.introduce() a.greeting() print(a.name) print(a.cla_12norm()) print(a._A__12norm()) #仍然可以访问，只是名字不一样 print(a.__12norm()) #报错，是私有成员
类的初始化使用的是__init__(self,)，所有成员变量都是self的，所以以self.开头。
双下划线开头的变量触发了Python中一种叫做name mangling的机制，其实只是名字变了，仍然可以通过前面加上”_类名“的方式访问
print(a._A__12norm()) #仍然可以访问，只是名字不一样。
Python中的继承非常简单，最基本的继承方式就是定义类的时候把父类放入括号里即可。
class B(A): """Class B inheritenced from A""" def greeting(self): print("how's going!") b=B(12,12,'Flauree') b.introduce() b.greeting() # how's going!进行了方法覆盖 print(b.name) # 输出新的name___Flauree
2、map、reduce和filter
map 可以用于可遍历结构的每个元素执行同样的操作，批量操作：
y =map(lambda x:x**2,[1,2,3,4]) #[1,4,9,16]
for i in y:
print(i)
map(lambda x,y:x+y,[1,2,3],[5,6,7]) #[6,8,10]
reduce则是对可遍历结构的元素按顺序进行两个输入参数的操作，并且每次的结果保存作为下次操作的第一个输入参数，还没有遍历的元素作为第二个输入参数：
reduce(lambda x,y:x+y,[1,2,3,4]) #((1+2)+3)+4=10
filter根据条件课对遍历结构进行筛选：
filter(lambda x:x%2,[1,2,3,4,5]) #筛选奇数，[1,3,5]
对于filter和map，在python2中返回结果是列表，在Python3中返回的是生成器。
zip()函数：可以把多个列表关联起来，可以按顺序同时输出两个列表对应位置的元素对。
zip()函数不会自动帮助判断两个列表是否长度一样，所以最终结果会以短的列表为准，想要以长的列表为准，可以考虑itertools模块中的izip_longest()函数。
for x in zip([1,2,3],[4,5,6]): print(sum(x)) # 5，7，9
3、文件操作和pickle
在python中，推荐用上下文管理器（with-as）来打开文件，IO资源的管理更加安全，不用记着给文件执行close()函数，假设有个文件name_age.txt，里面存储着名字和年龄，格式如下：
Tom,8
Jerry,7
Tyke,3
....
# 读取文件内容并全部显示 with open('name_age.txt','r') as f: lines=f.readlines() for line in lines: name,age=line.rstrip().split(',') print('{} is {} years old.'.format(name,age)) # Tom is 8 years old. # Jerry is 7 years old. # Tyke is 3 years old.
open()函数的第一个参数是文件名，第二个参数是模式，文件的模式一般有4种：读取（r)、写入（w）、追加（a）、和读写（r+）。
有时候进行文件操作时希望把对象进行序列化，可以考虑用pickle模块。
import pickle lines=[ "I'm like a dog chasing cars.", "I wouldn't know what to do if ..", "I'd just do things." ] with open('lines.pkl','wb') as f: #序列化并保存成文件 pickle.dump(lines,f) with open('lines.pkl','rb')as f: #从文件读取反序列化 lines_back=pickle.load(f) print(lines_back) #和lines一样
注意：序列化的时候就要使用b模式了。Python2中有个效率更高的pickle脚cPickle，用法和pickle一样，在Python3中就只有一个pickle。
4、异常操作
在深度学习中，尤其是数据准备阶段，常常遇到IO操作，遇到异常的可能性很高，采用异常处理可以保证数据处理的过程中不被中断，并对有异常的情况进行记录。
for filepath in filelist: #filelist是文件路径的列表 try: with open(filepath,'r') as f: #执行数据处理的相关工作 print('{} is processed!'.format(filepath)) except IOError: print('{} with IOError!'.format(filepath)) # 异常的相应处理
5、多进程（multiprocessing)
深度学习中对数据高效处理常常会需要并行，这时多进程就派上了用场。假设在数据准备阶段，有很多文件需要运行一定的预处理，正好有多台核服务器，我们希望把这些文件分成32份，并行处理：
from multiprocessing import Process def process_data(filelist): for filepath in filelist: print('Processing {}...'.format(filepath)) #处理数据 if __name__=='__main__': #如果是在windows下，需要加上freeze_support()函数 freeze_support() # full_list包含了要处理的全部文件列表 n_total=len(full_list) #一个远大于32的数 n_processes=32 # 每段子列表的平均长度 length=float(n_total)/float(n_processes) # 计算下标，尽可能均匀地划分输入文件列表 indices=[int(round(i*length)) for i in range(n_processes+1)] # 生成每个进程要处理的子文件列表 sublists=[full_list[indices[i]:indices[i+1]]for i in range(n_processes)] # 生成进程 processes=[Process(target=process_data(),args=(x,))for x in sublists] # 并行处理 for p in processes: p.start() for p in processes: p.join()
