python 函数之装饰器，迭代器，生成器

装饰器

了解一点：写代码要遵循开发封闭原则，虽然这个原则是面向对象开发，但也适用于函数式编程，简单的来说，就是已经实现的功能代码不允许被修改但

             可以被扩展即： 

  • 封闭：已实现功能的代码块
  • 开发：对扩张开发
#需求对一个现有基础功能函数每个要加上打印一条日志

#用装饰器实现如下：

#def outer():              #通常的做法是在定义一个新的函数，将函数加入到需要调用的函数体内
# print ('log')

def outer(func):                 #定义装饰器函数
    def inter():                 #定义内层函数
        print('log')
        return func()
    return inter

@outer                            #使用装饰器
def f1():
    #outer()
    print('F1')

@outer
def f2():
    #outer()
    print("F2")


@outer
def f100():
    #outer()
    print('F100')

　　装饰器的流程

# @ + 函数名
#功能：
#  1.自动执行outer函数并且将其下面的函数名f1当作参数传递
#  2.将outer函数的返回值，重新赋值f1

上段代码执行的过程

#定义函数，未调用，函数内部不执行
# 函数名 ：代指函数

#下段代码执行过程
# 1->2->3->4
#  总结：执行完后的f1 函数体即为inter函数的内部代码

def outer(func):        # 1.有关键字def 将outer函数体内部放入内存
    def inter():            # 3.将 inter 函数体放入内存
        print('before')
        func()
    return inter        # 4.整体返回inter函数(注意没有括号)，将返回值赋值给下面的f1函数


@outer              #  2.整体解释outer和f1函数，并且将下面的f1 函数当成outer函数的参数
def f1():              
    print('F1')

装饰器之返回值

如果上面原函数f1,f2有返回值,怎么办？
def outer(func):
    def inter():
        print('before')    #被装饰函数前做的操作
        ret = func()
        print('after')     #被装饰函数后做的操作
        return ret         # 返回原函数的返回值
    return inter


@outer
def f1():
    print('F1')
    return '我是返回值1'


@outer
def f2():
    print('F2')
    return '我是返回值2'

装饰器之参数

当被装饰的函数需要传入参数，怎么破

# 当需要装饰函数需要传入一个函数时
def outer(func):
    def inter(a):     #  在inter 里写入传入的参数a
        print('log')
        ret = func(a)   # func使用 参数a
        return ret
    return inter


@outer
def f1(args):
    print(args)
    print('F1')

我还想传入多个参数，咋整

# 当需要装饰函数需要传入多个不同类型参数是时
def outer(func):
    def inter(*args,**kwargs):     #  使用万能参数，接受各种参数
        print('log')
        ret = func(*args,**kwargs)   # 函数在接受参数是，Python内部会检查参数的类型，个数
        return ret                   # 并且将检测到的参数传入函数进行执行
    return inter


@outer
def f1(*args):
    print(*args)
    print('F1')

@outer
def f2(**kwargs):
    print(kwargs)
    print("F2")


# 执行示例
import test

dic = {'name1':'dbb1','name2':'dbb2'}
test.f1('这是传入的：参数一','参数二')
test.f2(**dic)


结果：
log
这是传入的：参数一 参数二
F1
log
{'name2': 'dbb2', 'name1': 'dbb1'}
F2

装饰器使用场景之权限控制

 1 # 当用户没有登录，没有权限进入 order,manger 模块
 2 
 3 userDic={'is_login':False}
 4 
 5 def outer(func):
 6     def inter(*args,**kwargs):
 7         if userDic['is_login']:
 8             r= func()
 9             return r
10         else:
11             print("请登录")
12     return inter
13 
14 
15 def login(username,pwd):
16     if username =='derby' and pwd =='123456':
17         userDic['is_login'] = True
18         userDic['currentUser'] = username
19     else:
20         print('请登录')
21 
22 @outer
23 def manger():
24     print('欢迎进入后台管理')
25 
26 @outer
27 def order():
28     print('welcome order manger')
29 
30 def main():
31     while True:
32         inp = input('1.登录\n2.后台管理\n3.订单管理\n')
33         if inp == '1':
34             user = input('输入用户名:')
35             pwd = input('密码:')
36             login(user,pwd)
37 
38         elif inp == '2':
39             manger()
40         elif inp == '3':
41             order()
42         else:
43             print('Invalid input')
44 
45 
46 main()
装饰器:用户登录

生成器、迭代器

1.迭代器

迭代器是访问集合元素的一种方式。迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完结束。迭代器只能往前不会后退，不过这也没什么，因为人们很少在迭代途中往后退。另外，迭代器的一大优点是不要求事先准备好整个迭代过程中所有的元素。迭代器仅仅在迭代到某个元素时才计算该元素，而在这之前或之后，元素可以不存在或者被销毁。这个特点使得它特别适合用于遍历一些巨大的或是无限的集合，比如几个G的文件

特点：

  1. 访问者不需要关心迭代器内部的结构，仅需通过next()方法不断去取下一个内容
  2. 不能随机访问集合中的某个值 ，只能从头到尾依次访问
  3. 访问到一半时不能往回退
  4. 便于循环比较大的数据集合，节省内存

如下例子：

 1 def myrange(arg):     #带yield 关键字的函数叫生成器
 2     start = 0
 3     while True:
 4         if start > arg:
 5             return
 6         yield start
 7         start += 1
 8 
 9 ret = myrange(2)  #可以被迭代的对象，称为迭代器，通过next，for等方法进行迭代
10 '''
11 r = ret.__next__()
12 print(r)
13 >>> 0
14 r = ret.__next__()
15 print(r)
16 >>> 1
17 
18 r = ret.__next__()
19 print(r)
20 >>> 2
21 
22 r = ret.__next__()  #迭代完，在进行迭代报错
23 print(r)
24 >>> @#$$%#@@这是错误
25 '''
26 for i in ret:
27     print(i)
28 
29 >>> 0
30 >>> 1
31 >>> 2
生成器+迭代器
可以直接作用于for循环的数据类型有以下几种：

一类是集合数据类型，如list、tuple、dict、set、str等；

一类是generator，包括生成器和带yield的generator function。

这些可以直接作用于for循环的对象统称为可迭代对象：Iterable。

可以使用isinstance()判断一个对象是否是Iterable对象：

 1 >>> from collections import Iterable
 2 >>> isinstance([], Iterable)
 3 True
 4 >>> isinstance({}, Iterable)
 5 True
 6 >>> isinstance('abc', Iterable)
 7 True
 8 >>> isinstance((x for x in range(10)), Iterable)
 9 True
10 >>> isinstance(100, Iterable)
11 False
判断是否是迭代对象

先了解下列表生成式

Python内置的非常简单却强大的可以用来创建list的生成式，如下：

>>> list(range(1,11))
[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

运用列表生成式，可以写出非常简洁的代码,如：

要生成[1x1, 2x2, 3x3, ..., 10x10]怎么做？

 1 #使用for循环
 2 >>> L = []
 3 >>> for i in range(1,11):
 4     L.append(i*i)
 5 >>> print (L)
 6 [1, 4, 9, 16, 25, 36, 49, 64, 81, 100]
 7 
 8 #列表生成式
 9 >>> L = [x*x for x in range(1,11)]
10 >>> print(L)
11 [1, 4, 9, 16, 25, 36, 49, 64, 81, 100]
12 
13 #加判断的列表生成式，只想要奇数的乘积
14 >>> L = [x*x for x in range(1,11) if x%2 == 1]
15 >>> print(L)
16 [1, 9, 25, 49, 81]
普通方法和列表对比

 

还能使用两层或多层循环，以及方便的列出系统目录

1 #两层循环，多层循环比较少用
2 >>> [m+n for m in 'ABC' for n in 'XYZ']
3 ['AX', 'AY', 'AZ', 'BX', 'BY', 'BZ', 'CX', 'CY', 'CZ']
4 
5 #方便的列出当前目录
6 >>> import os
7 >>> [d for d in os.listdir('.')]
8 ['DLLs', 'Doc', 'include', 'Lib', 'libs', 'LICENSE.txt', 'NEWS.txt', 'python.pdb', 'python3.dll', 'python3.exe', 'python35.dll', 'python35.pdb', 'python35_d.dll', 'python35_d.pdb', 'python3_d.dll', 'pythonw.exe', 'pythonw.pdb', 'pythonw_d.exe', 'pythonw_d.pdb', 'python_d.exe', 'python_d.pdb', 'README.txt', 'Scripts', 'tcl', 'Tools', 'vcruntime140.dll']
9 >>>
列出目录，及两层循环

 

居然还能使用多个变量

1 #迭代字典
2 >>> d = {'x': 'A', 'y': 'B', 'z': 'C' }
3 >>> [k + '=' + v for k, v in d.items()]
4 ['z=C', 'x=A', 'y=B']
5 #将所有的字母小写
6 >>> L = ['Hello', 'World', 'IBM', 'Apple']
7 >>> [s.lower() for s in L]
8 ['hello', 'world', 'ibm', 'apple']
迭代字典，字母小写

 

2.生成器

通过列表生成式，创建一个包含100万个元素的列表，不仅占用很大的存储空间，如果我们仅仅需要访问前面几个元素，那后面绝大多数元素占用的空间都白白浪费了。

所以，如果列表元素可以按照某种算法推算出来，那我们是否可以在循环的过程中不断推算出后续的元素呢？这样就不必创建完整的list，从而节省大量的空间。在Python中，这种一边循环一边计算的机制，称为生成器：generator。要创建一个generator，有很多种方法。

第一种方法

只要把一个列表生成式的[]改成()，就创建了一个generator：

>>> L = [x * x for x in range(10)]
>>> L
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
>>> g = (x * x for x in range(10))
>>> g
<generator object <genexpr> at 0x1022ef630>

仔细观察，可以看出，fib函数实际上是定义了斐波拉契数列的推算规则，可以从第一个元素开始，推算出后续任意的元素，这种逻辑其实非常类似generator。

也就是说，上面的函数和generator仅一步之遥。要把fib函数变成generator，只需要把print(b)改为yield b就可以了：


#怎么取值？
#第一种
>>> next(g)
0
>>> next(g)
1
#第二种
>>> g = (x * x for x in range(10))
>>> for n in g:
...     print(n)

所以，我们创建了一个generator后，基本上永远不会调用next()，而是通过for循环来迭代它，并且不需要关心StopIteration的错误。

generator非常强大。如果推算的算法比较复杂，用类似列表生成式的for循环无法实现的时候，还可以用函数来实现。

比如，著名的斐波拉契数列（Fibonacci），除第一个和第二个数外，任意一个数都可由前两个数相加得到：

1, 1, 2, 3, 5, 8, 13, 21, 34, ...

斐波拉契数列用列表生成式写不出来，但是，用函数把它打印出来却很容易：

1 def fib(max):
2     n, a, b = 0, 0, 1
3     while n < max:
4         print(b)
5         a, b = b, a + b
6         n = n + 1
7     return 'done'
实现斐波拉契数列

 

第二种方法

仔细观察，可以看出，fib函数实际上是定义了斐波拉契数列的推算规则，可以从第一个元素开始，推算出后续任意的元素，这种逻辑其实非常类似generator。

也就是说，上面的函数和generator仅一步之遥。要把fib函数变成generator，只需要把print(b)改为yield b就可以了：

 1 def fib(max):
 2     n, a, b = 0, 0, 1
 3     while n < max:
 4         yield b
 5         a, b = b, a + b
 6         n = n + 1
 7     return 'done'
 8 
 9 >>> f = fib(6)
10 >>> f
11 <generator object fib at 0x104feaaa0>
斐波拉契数列生成器

 

这里，最难理解的就是generator和函数的执行流程不一样。函数是顺序执行，遇到return语句或者最后一行函数语句就返回。而变成generator的函数，在每次调用next()的时候执行，遇到yield语句返回，再次执行时从上次返回的yield语句处继续执行。

举个简单的例子，定义一个generator，依次返回数字1，3，5：

def odd():
    print('step 1')
    yield 1
    print('step 2')
    yield(3)
    print('step 3')
    yield(5)


>>> o = odd()
>>> next(o)
step 1
1
>>> next(o)
step 2
3
>>> next(o)
step 3
5
>>> next(o)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration

回到fib的例子，我们在循环过程中不断调用yield，就会不断中断。当然要给循环设置一个条件来退出循环，不然就会产生一个无限数列出来。

同样的，把函数改成generator后，我们基本上从来不会用next()来获取下一个返回值，而是直接使用for循环来迭代：

>>> for n in fib(6):
...     print(n)
...
1
1
2
3
5
8

但是用for循环调用generator时，发现拿不到generator的return语句的返回值。如果想要拿到返回值，必须捕获StopIteration错误，返回值包含在StopIteration的value中：

 1 >>> g = fib(6)
 2 >>> while True:
 3 ...     try:
 4 ...         x = next(g)
 5 ...         print('g:', x)
 6 ...     except StopIteration as e:
 7 ...         print('Generator return value:', e.value)
 8 ...         break
 9 ...
10 g: 1
11 g: 1
12 g: 2
13 g: 3
14 g: 5
15 g: 8
16 Generator return value: done
View Code
总结：

生成器不但可以作用于for循环，还可以被next()函数不断调用并返回下一个值，直到最后抛出StopIteration错误表示无法继续返回下一个值了。

可以被next()函数调用并不断返回下一个值的对象称为迭代器：Iterator。

可以使用isinstance()判断一个对象是否是Iterator对象：

>>> from collections import Iterator
>>> isinstance((x for x in range(10)), Iterator)
True
>>> isinstance([], Iterator)
False
>>> isinstance({}, Iterator)
False
>>> isinstance('abc', Iterator)
False

生成器都是Iterator对象，但list、dict、str虽然是Iterable，却不是Iterator。

把list、dict、str等Iterable变成Iterator可以使用iter()函数：

>>> isinstance(iter([]), Iterator)
True
>>> isinstance(iter('abc'), Iterator)
True

为什么list、dict、str等数据类型不是Iterator?

这是因为Python的Iterator对象表示的是一个数据流，Iterator对象可以被next()函数调用并不断返回下一个数据，直到没有数据时抛出StopIteration错误。可以把这个数据流看做是一个有序序列，但我们却不能提前知道序列的长度，只能不断通过next()函数实现按需计算下一个数据，所以Iterator的计算是惰性的，只有在需要返回下一个数据时它才会计算。

Iterator甚至可以表示一个无限大的数据流，例如全体自然数。而使用list是永远不可能存储全体自然数的。

Python的for循环本质上就是通过不断调用next()函数实现的，例如:

for x in [1, 2, 3, 4, 5]:
    pass

#等价于
# 首先获得Iterator对象:
it = iter([1, 2, 3, 4, 5])
# 循环:
while True:
    try:
        # 获得下一个值:
        x = next(it)
    except StopIteration:
        # 遇到StopIteration就退出循环
        break

　递归函数　

计算阶乘n! = 1 x 2 x 3 x ... x n，用函数fact(n)表示，可以看出：

fact(n) = n! = 1 x 2 x 3 x ... x (n-1) x n = (n-1)! x n = fact(n-1) x n

所以，fact(n)可以表示为n x fact(n-1)，只有n=1时需要特殊处理。

def fact(n):
    if n==1:
        return 1
    else:
        return fact(n-1)*n

尾递归

递归函数的优点是定义简单，逻辑清晰。理论上，所有的递归函数都可以写成循环的方式，但循环的逻辑不如递归清晰。

但是计算机中每个函数是通过栈(stack)这种数据结构实现的，每进入一个函数调用，就会在栈里增加一层栈帧，每当函数返回，栈就会减一层栈帧。
由于栈的大小不是无限的，所以，递归调用的次数过多，会导致栈溢出
#当计算1000 的阶乘会出现栈溢出
>>> fact(1)
1
>>> fact(5)
120
>>> fact(1000)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 4, in fact
  ...
  File "<stdin>", line 4, in fact
RuntimeError: maximum recursion depth exceeded in comparison　　

解决递归调用栈溢出的方法是通过尾递归优化，事实上尾递归和循环的效果是一样的，所以，把循环看成是一种特殊的尾递归函数也是可以的。

尾递归是指，在函数返回的时候，调用自身本身，并且，return语句不能包含表达式。这样，编译器或者解释器就可以把尾递归做优化，使递归本身无论调用多少次，都只占用一个栈帧，不会出现栈溢出的情况。

上面的fact(n)函数由于return n * fact(n - 1)引入了乘法表达式，所以就不是尾递归了。要改成尾递归方式，需要多一点代码，主要是要把每一步的乘积传入到递归函数中：

def fact(n):
    return fact_iter(n,1)


def fact_iter(num,product):
    if num == 1:
        return product

    return fact_iter(num,num*product)

尾递归调用时，如果做了优化，栈不会增长，因此，无论多少次调用也不会导致栈溢出。

遗憾的是，大多数编程语言没有针对尾递归做优化，Python解释器也没有做优化，所以，即使把上面的fact(n)函数改成尾递归方式，也会导致栈溢出。

posted @ 2016-10-23 10:37  Derby666  阅读(249)  评论(0)  编辑  收藏  举报