python 基础之第十天（闭包，装饰器，生成器，tarfile与hashlib模块使用）
局部变量与全局变量
局部变量：在函数里面定义的，只有当函数活动时才生效
全局变量：不在函数里面的
In [1]: x=10 In [2]: def bar(): ...: x=20 ...: print x ...: In [3]: x Out[3]: 10 #####如果一定要改变全局的变量，使用global参数#### In [5]: def bar(): ...: global x ...: x = 20 In [6]: x Out[6]: 10 In [7]: bar() In [8]: x Out[8]: 20
########################################################################
有个需求：x,y 的和，x一直都是10，每次调用都要输入10，很麻烦，用add10 = partial(add,10) 就只需要输入一次
from functools import partial def add(x,y): return x+y if __name__ == '__main__': print add(10,20) print add(10,40) print add(10,89) add10 = partial(add,10) print add10(50)
结果：
[root@master script]# python add10.py
30
50
99
60
################列出所有目录下的文件#############
[root@master script]# vim lsdir.py #!/usr/bin/python # coding:utf-8 import sys import os def lsdir(folder): contents = os.listdir(folder) print '\033[31;1m%s\033[0m:\n\033[32;1m%s\033[0m\n' % (folder,contents) for item in contents: full_path = os.path.join(folder,item) if os.path.isdir(full_path): lsdir(full_path) if __name__ == '__main__': lsdir(sys.argv[1])
效果：
[root@master script]# python lsdir.py /home/ /home/: ['herry', 'honey', '11111.txt', 'hosts', 'fush', 'jerry', 'mima', 'demo', 'cesh.txt', 'fush.txt', 'master'] /home/herry: ['.bashrc', '.bash_logout', '.bash_profile'] /home/honey: ['.bashrc', '.bash_logout', '.bash_profile'] /home/fush: ['.bashrc', '.bash_logout', '.bash_profile'] /home/jerry: ['.bashrc', '.bash_logout', '.bash_profile']
############lsdir2.py#################
[root@master script]# vim lsdir2.py #!/usr/bin/python import os import sys def lsdir(folder): for path,dirs,files in os.walk(folder): print '%s:\n%s\n' % (path,(dirs+files)) if __name__ == '__main__': lsdir(sys.argv[1])
######################闭包（重点也是难点）###############
代码：
[root@master script]# vim counter.py #!/usr/bin/python def conter(start_at=0): count = [start_at] def incr(): count[0] += 1 return count[0] return incr if __name__ == '__main__': a = conter() print a();print a() b = conter(10) print b();print b() print a() print b()
效果：
[root@master script]# python counter.py 1 2 11 12 3 13
##################装饰器###############
#time模块的简单用法
In [1]: import time In [2]: time.time() Out[2]: 1503037729.0894251 #距离1970 年的秒数，也就是当前时间的时间戳 In [3]: time.ctime(1503037729.0894251) #换算成当前时间 Out[3]: 'Fri Aug 18 14:28:49 2017'
计算程序花了多长时间代码例子：
[root@master script]# vim loo.py #!/usr/bin/python # coding:utf-8 import time def loop(): result = [] for i in range(1,6): result.append(i) time.sleep(1) return result if __name__ == '__main__': start = time.time() print loop() end = time.time() print 'program is spend_time %.2f' % (end - start) ###'%.2f' 保留小数点后面两位；'%.3f' 保留小数点后面三位；
结果： [root@master script]# python loo.py [1, 2, 3, 4, 5] program is spend_time 5.01
##################装饰器（python最难点）######################
[root@master script]# vim loo.py #!/usr/bin/python # coding:utf-8 import time def deco(func): ======>func其实等于loop def timeit(): start = time.time() res = func() end = time.time() print 'program is spend_time %.2f' % (end - start) return res return timeit @deco def loop(): result = [] for i in range(1,6): result.append(i) time.sleep(1) return result if __name__ == '__main__': print loop() ===========> 这里并不是直接调用loop函数，因为有装饰器deco,所以loop被当成是装饰器deco的参数，
另外一个例子：
[root@master script]# vim font.py #!/usr/bin/python # coding:utf-8 def color(func): def color_font(astr): return '\033[31;1m%s\033[0m' % (func(astr)) return color_font @color def say_hi(word): return 'hello %s' % word @color def greet(name): return 'welcome %s' % name if __name__ == '__main__': print say_hi('tedu') print greet('bob')
结果：
[root@master script]# python font.py hello tedu welcome bob
################生成器#################
生成器（就是函数）延时计算，使内存使用的更加有效率。
有个yield语句，就是类似return,只不过return在函数里面只能返回一个值（就算有多个return）也只返回一个，而yield 则可以每执行一次返回一个中间结果，并且不是从头开始，而是从上次的地方开始，继续执行。
生成器都有一个next()方法。
例子：（把文件的每10行返回一次）
[root@master script]# vim yeid.py #!/usr/bin/python # coding:utf-8 def block(fobj): block = [] counter = 0 for line in fobj: block.append(line) counter += 1 if counter == 10: yield block counter = 0 block = [] yield block if __name__ == '__main__': with open('/etc/passwd') as fobj: for line in block(fobj): print line
############从zip文件中导入##############
#######例子：
[root@master script]# zip ran.zip ranpass.py [root@master script]# pwd /home/master/script [root@master script]# ll -rw-r--r-- 1 root root 352 Aug 21 10:34 ran.zip -rw-r--r-- 1 root root 300 Aug 4 18:24 ranpass.py In [8]: sys.path In [10]: sys.path.append('/home/master/script/ran.zip') In [12]: sys.path Out[12]: ['', '/usr/bin', '/usr/lib/python2.6/site-packages/thrift-0.10.0-py2.6-linux-x86_64.egg', '/usr/lib64/python26.zip', '/usr/lib64/python2.6', '/usr/lib64/python2.6/plat-linux2', '/usr/lib64/python2.6/lib-tk', '/usr/lib64/python2.6/lib-old', '/usr/lib64/python2.6/lib-dynload', '/usr/lib64/python2.6/site-packages', '/usr/lib/python2.6/site-packages', '/usr/lib/python2.6/site-packages/setuptools-0.6c11-py2.6.egg-info', '/usr/lib/python2.6/site-packages/IPython/extensions', '/home/master/script/ran.zip'] In [13]: import ranpass
#######################两个常用模块(tarfiel和hashlib)########################
#######################实践案例########################
对目录下的文件进行全量备份与增量备份；
思路及关键点：
建立一个文件，以字典方式记录src的文件名以及文件对应的md5的值 完全备份的时候将文件名和md5值写在一个文件里面。cPickle的知识点。
增量备份的时候比较文件名是否在key里面，没有就要备份；有的话，这个文件的md5值是否改变，改变了就要备份 os.path.join()拼接路径，os.listdir(),os.chdir() time.strftime()判断周几 cPickle，可以无损记录所有Python的变量类型。文件操作。 tarfile对文件打包的使用 hashlib用于计算文件md5的值。注意不要一次打开一个文件，4k地打开，防止打开一个超大文件爆内存。 with file()可以打开一个文件之后不f.close()
常用的函数：
md5=hashlib.md5() 生成一个md5 hash对象
md5.update("xxxxxxxxx") 对字符串进行md5更新处理，m.update(a)之后在 m.update(b)，相当于m.update(a+b)
md5.digest() 返回二进制的加密结果
md5.hexdigest() 返回十六进制的机密结果
[root@master script]# cat backup_good.py #!/usr/bin/env python import time import os import cPickle as p import tarfile import hashlib baseDir = '/home/master/script' srcDir = 'demo' dstDir = 'dst' fullName = "full_%s_%s.tar.gz" % (srcDir, time.strftime('%Y%m%d')) incrName = "incr_%s_%s.tar.gz" % (srcDir, time.strftime('%Y%m%d')) md5file = 'md5.data' def md5sum(fname): m = hashlib.md5() with file(fname) as f: while True: data = f.read(4096) if len(data) == 0: break m.update(data) return m.hexdigest() def fullBackup(): md5Dict = {} fileList = os.listdir(os.path.join(baseDir,srcDir)) for eachFile in fileList: md5Dict[eachFile] = md5sum(os.path.join(baseDir,srcDir,eachFile)) with file(os.path.join(baseDir,dstDir,md5file),'w') as f: p.dump(md5Dict,f) tar = tarfile.open(os.path.join(baseDir,dstDir,fullName),'w:gz') os.chdir(baseDir) tar.add(srcDir) tar.close() def incrBackup(): newmd5 = {} fileList = os.listdir(os.path.join(baseDir,srcDir)) for eachFile in fileList: newmd5[eachFile] = md5sum(os.path.join(baseDir,srcDir,eachFile)) with file(os.path.join(baseDir,dstDir,md5file)) as f: storedmd5 = p.load(f) tar = tarfile.open(os.path.join(baseDir,dstDir,incrName),'w:gz') os.chdir(baseDir) for eachKey in newmd5: if (eachKey not in storedmd5) or (newmd5[eachKey] != storedmd5[eachKey]): tar.add(os.path.join(srcDir,eachKey)) tar.close() with file(os.path.join(baseDir,dstDir,md5file),'w') as f: p.dump(newmd5,f) def main(): if time.strftime('%a') == 'Mon': fullBackup() else: incrBackup() if __name__ == '__main__': main()
