Python装饰器

一、知识前提(函数进阶部分)

了解装饰器的三个前提。

1.1 作用域

参考Python 函数 第五部分 :点这里

1.2 函数即对象(函数的本质)

在python的世界里,函数和我们之前的[1,2,3],'abc',8等一样都是对象,而且函数是最高级的对象(对象是类的实例化,可以调用相应的方法,函数是包含变量对象的对象)。

def foo():
    print('i am the foo')
    bar()
     
def bar():     
    print('i am the bar')
 
foo()
# def bar():      #如果放在后面则报错   NameError: name 'bar' is not defined
#     print('i am the bar')

函数名本质上就是函数的内存地址:

函数对象的调用仅仅比其它对象多了一个()而已!foo,bar与a,b一样都是个变量名。

那上面的问题也就解决了,只有函数加载到内存才可以被调用。

既然函数是对象,那么自然满足下面两个条件:

1.2.1 其可以被赋给其他变量

def foo():
    print('foo')
bar=foo
bar()
foo()
print(id(foo),id(bar))  #4321123592 4321123592

1.2.2 其可以被定义在另外一个函数内(作为参数&作为返回值),类似于整形,字符串等对象。

#*******函数名作为参数**********
def foo(func):
    print('foo')
    func()
 
def bar():
    print('bar')
 
foo(bar)
 
#*******函数名作为返回值*********
 
def foo():
    print('foo')
    return bar
 
def bar():
    print('bar')
 
b=foo()
b()

注意:这里说的函数都是指函数名,比如foo;而foo()已经执行函数了,foo()是什么类型取决于return的内容是什么类型!!!

         另外,如果大家理解不了对象,那么就将函数理解成变量,因为函数对象总会由一个或多个变量引用,比如foo,bar。

1.3  函数的嵌套以及闭包(closure)

1.3.1 函数的嵌套

def foo():
    print('foo')
    def bar():
        print('bar')

bar()   # NameError: name 'bar' is not defined

是的,bar就是一个变量名,有自己的作用域的。

Python允许创建嵌套函数。通过在函数内部def的关键字再声明一个函数即为嵌套:

#想执行inner函数,几种方法
def outer():
     x = 1
     def inner():
         print (x) # 1
     # inner() # 2
     return inner
 
# inner()      #报错原因:找不到这个引用变量
# outer()()    #第一种
in_func=outer()#这里其实就是一个变量赋值,将inner的引用对象赋值给in_func,类似于a=5,b=a一样
                #有同学会想直接赋值不行吗:in_func=inner? 哥,inner不还是找不到吗,对吧
in_func()

正常情况下,函数有自己的作用域

def outer():
    x=1    #函数outer执行完毕即被销毁
print(x)   # 找不到x

既然这样,i()执行的时候outer函数已经执行完了,为什么inner还可以调用outer里的变量x呢?

因为:outer里return的inner是一个闭包函数,有x这个环境变量。

 1.3.2 闭包

定义:如果在一个内部函数里,对在外部作用域(encloing)(但不是在全局作用域(global))的变量进行引用,那么内部函数就被认为是闭包(closure).

 

如上实例,inner就是内部函数,inner里引用了外部作用域的变量x(x在外部作用域outer里面,不是全局作用域),

则这个内部函数inner就是一个闭包。

再稍微讲究一点的解释是,闭包=函数块+定义函数时的环境,inner就是函数块,x就是环境,当然这个环境可以有很多,不止一个简单的x。

# 用途1:当闭包执行完后,仍然能够保持住当前的运行环境。
# 比如说,如果你希望函数的每次执行结果,都是基于这个函数上次的运行结果。我以一个类似棋盘游戏的例子
# 来说明。假设棋盘大小为50*50,左上角为坐标系原点(0,0),我需要一个函数,接收2个参数,分别为方向
# (direction),步长(step),该函数控制棋子的运动。棋子运动的新的坐标除了依赖于方向和步长以外,
# 当然还要根据原来所处的坐标点,用闭包就可以保持住这个棋子原来所处的坐标。

origin = [0, 0] # 坐标系统原点
legal_x = [0, 50] # x轴方向的合法坐标
legal_y = [0, 50] # y轴方向的合法坐标
def create(pos=origin):
 def player(direction,step):
  # 这里应该首先判断参数direction,step的合法性,比如direction不能斜着走,step不能为负等
  # 然后还要对新生成的x,y坐标的合法性进行判断处理,这里主要是想介绍闭包,就不详细写了。
  new_x = pos[0] + direction[0]*step
  new_y = pos[1] + direction[1]*step
  pos[0] = new_x
  pos[1] = new_y
  #注意!此处不能写成 pos = [new_x, new_y],原因在上文有说过
  return pos
 return player

player = create() # 创建棋子player,起点为原点
print (player([1,0],10)) # 向x轴正方向移动10步
print (player([0,1],20)) # 向y轴正方向移动20步
print (player([-1,0],10)) # 向x轴负方向移动10步
用途一

-

a = [1,2]
def fun():
  # global a
  # a = [2,3]
  a[0] = 2
  a[1] = 4

fun()
print(a)   # [2,3]或者[2,4]

-

# 用途2:闭包可以根据外部作用域的局部变量来得到不同的结果,这有点像一种类似配置功能的作用,我们可以
# 修改外部的变量,闭包根据这个变量展现出不同的功能。比如有时我们需要对某些文件的特殊行进行分析,先
# 要提取出这些特殊行。

def make_filter(keep):
 def the_filter(file_name):
  file = open(file_name)
  lines = file.readlines()
  file.close()
  filter_doc = [i for i in lines if keep in i]
  return filter_doc
 return the_filter

# 如果我们需要取得文件"result.txt"中含有"pass"关键字的行,则可以这样使用例子程序
filter = make_filter("pass")
filter_result = filter("result.txt")
用途二

闭包函数判断(__closure__)

def outer():
    a = 1
    def inner():
        print(a)
    print(inner.__closure__)
outer()
print(outer.__closure__)

#(<cell at 0x00000000051D69A8: int object at 0x0000000004EF6548>,)
#None

二 装饰器概念

  要解决的三件事:1、不同函数雷同功能。2、开闭原则。3、重复利用

  装饰器本质上是一个函数,该函数用来处理其他函数,它可以让其他函数在不需要修改代码的前提下增加额外的功能,装饰器的返回值也是一个函数对象。它经常用于有切面需求的场景,比如:插入日志、性能测试、事务处理、缓存、权限校验等应用场景。装饰器是解决这类问题的绝佳设计,有了装饰器,我们就可以抽离出大量与函数功能本身无关的雷同代码并继续重用。概括的讲,装饰器的作用就是为已经存在的对象添加额外的功能。

  业务生产中大量调用的函数:

def foo():
    print('hello foo')
foo()

  现在有一个新的需求,希望可以记录下函数的执行时间,于是在代码中添加日志代码:

import time
def foo():
    start_time=time.time()
    print('hello foo')
    time.sleep(3)
    end_time=time.time()
    print('spend %s'%(end_time-start_time))
 
foo()

  以上代码虽然实现了功能,但是需要更改代码,这直接违反了软件开发中的一个原则“开放-封闭”(开闭)原则,简单来说,它规定已经实现的功能代码不允许被修改,但可以被扩展,即:

  • 封闭:已实现的功能代码块不应该被修改
  • 开放:对现有功能的扩展开放

  而且bar()、bar2()也有类似的需求,怎么做?再在bar函数里调用时间函数?这样不仅违反开闭原则,就造成大量雷同的代码,为了减少重复写代码,我们可以这样做,重新定义一个高阶函数,就是把一个函数当做一个参数传给另外一个函数:专门设定时间。

import time
def show_time(func):
    start_time=time.time()
    func()
    end_time=time.time()
    print('spend %s'%(end_time-start_time))
 
 
def foo():
    print('hello foo')
    time.sleep(3)
 
show_time(foo)

  逻辑上不难理解,而且运行正常。 但是这样的话,你基础平台的函数修改了名字,容易被业务线的人投诉的,因为我们每次都要将一个函数作为参数传递给show_time函数。而且这种方式已经破坏了原有的代码逻辑结构,之前执行业务逻辑时,执行运行foo(),但是现在不得不改成show_time(foo)。那么有没有更好的方式的呢?当然有,答案就是装饰器。

三  装饰器思路

  首先,以下两种写法是一样的

def plus(n):
    return n+1
 
plus2 = lambda x:x+1   # 匿名函数

  给函数赋值变量名就像def func_name 是一样的效果,如下面的plus(n)函数,你调用时可以用plus名,还可以再起个其它名字,如

calc = plus    
 
calc(n)       # 跟 plus()一样

  那么,

show_time(foo) #需要添加日志就调用 show_time,把需要添加日志的函数当做一个参数传给 show_time

  之所改变了调用方式,是因为用户每次调用时需要执行login(henan),类似的。其实稍一改就可以了

foo = show_time(foo)

  这样当调用 foo 时,其实相当于调用了show_time(foo), 这样,功能就实现了。但是,问题在于,还不等调用 ,你的 foo = show_time(foo)就会先自己把foo执行了呀。(在show_time(foo)这一步执行,直接在show_time中传入foo执行了)。应该等调用foo的时候再执行。
  最终,使用闭包,写一个简单装饰器。

import time
 
def show_time(func):
    def wrapper():
        start_time=time.time()
        func()
        end_time=time.time()
        print('spend %s'%(end_time-start_time))
 
    return wrapper
 
 
def foo():
    print('hello foo')
    time.sleep(3)
 
foo=show_time(foo)
foo()

  函数show_time就是装饰器,它把真正的业务方法func包裹在函数里面,看起来像foo被上下时间函数装饰了。在这个例子中,函数进入和退出时 ,被称为一个横切面(Aspect),这种编程方式被称为面向切面的编程(Aspect-Oriented Programming)。 

  @符号是装饰器的语法糖,在定义函数的时候使用,避免再一次赋值操作。

import time
 
def show_time(func):
    def wrapper():
        start_time=time.time()
        func()
        end_time=time.time()
        print('spend %s'%(end_time-start_time))
 
    return wrapper
 
@show_time   #foo=show_time(foo)
def foo():
    print('hello foo')
    time.sleep(3)
 
 
@show_time  #bar=show_time(bar)
def bar():
    print('in the bar')
    time.sleep(2)
 
foo()
print('***********')
bar()

  如上所示,这样我们就可以省去 foo = show_time(foo) 这一句了,直接调用 foo() 即可得到想要的结果。如果我们有其他的类似函数,我们可以继续调用装饰器来修饰函数,而不用重复修改函数或者增加新的封装。这样,我们就提高了程序的可重复利用性,并增加了程序的可读性。

      这里需要注意的问题:  foo=show_time(foo) 其实是把 wrapper 引用的对象引用给了 foo,而 wrapper 里的变量 func 之所以可以用,就是因为wrapper是一个闭包函数。

  @show_time帮我们做的事情就是当我们执行业务逻辑foo()时,执行的代码由粉框部分转到蓝框部分,仅此而已!

   装饰器在Python使用如此方便都要归因于Python的函数能像普通的对象一样能作为参数传递给其他函数,可以被赋值给其他变量,可以作为返回值,可以被定义在另外一个函数内。

四 带参数的被装饰函数 

import time
 
def show_time(func):
 
    def wrapper(a,b):
        start_time=time.time()
        func(a,b)
        end_time=time.time()
        print('spend %s'%(end_time-start_time))
 
    return wrapper
 
@show_time   #add=show_time(add)
def add(a,b):
 
    time.sleep(1)
    print(a+b)
 
add(2,4)

下面的是返回原函数的return值,如果没有手动哦return,return一直为空

import time

def show_time(func):

    def wrapper(a,b):
        start_time=time.time()
        ret=func(a,b)
        end_time=time.time()
        print('spend %s'%(end_time-start_time))
        return ret

    return wrapper

@show_time   #add=show_time(add)
def add(a,b):

    time.sleep(1)
    return a+b

print(add(2,5))

4.1 不定长参数

 为什么要不定长,因为一个装饰器会被多个函数使用,而每个函数的参数形式都不一样,所以必须得写成不定长形式

#***********************************不定长参数
import time

def show_time(func):

    def wrapper(*args,**kwargs):
        start_time=time.time()
        func(*args,**kwargs)
        end_time=time.time()
        print('spend %s'%(end_time-start_time))

    return wrapper

@show_time   #add=show_time(add)
def add(*args,**kwargs):

    time.sleep(1)
    sum=0
    for i in args:
        sum+=i
    print(sum)

add(2,4,8,9)

4.2 固定模式

def wrapper(f):  # 装饰器函数,f是被装饰的函数
    def inner(*args, **kwargs):
        """在被装饰函数之前要做的事"""
        ret = f(*args, **kwargs)  # 被装饰的函数
        """在被装饰函数之后要做的事"""
        return ret

    return inner


@wrapper  # 语法糖  @装饰器函数名
def func(a, b):  # 被装饰的函数
    time.sleep(0.01)
    print("新年好", a, b)
    return "新年好"

五 带参数的装饰器

假如你有成千上万个函数使用了一个装饰器,现在你想把这些装饰器都取消掉,你要怎么做?

一个一个的取消掉? 没日没夜忙活3天。。。

过两天你领导想通了,再让你加上。。。

FLAG=True
def timmer_out(flag):
    def timmer(func):
        def inner(*args,**kwargs):
            if flag:
                start = time.time()
                ret = func(*args,**kwargs)
                end = time.time()
                print(end-start)
                return ret
            else:
                ret = func(*args,**kwargs)
                return ret
        return inner
    return timmer

@timmer_out(FLAG)
def wahaha():
    time.sleep(0.1)
    print('wahahahahaha')


FLAG = Flase(或者直接改最上面的FLAG值)
wahaha()

@timmer_out(FLAG)            timmer = timmer_out(FLAG)
第一步,timmer_out(FLAG),返回timmer
第二步,@timmer,等于@timmer等于 wahaha=timmer(wahaha)

上面的timmer_out是允许带参数的装饰器。它实际上是对原有装饰器的一个函数封装,并返回一个装饰器(一个含有参数的闭包函数)。当我 们使用@timmer_out(FLAG)调用的时候,Python能够发现这一层的封装,并把参数传递到装饰器的环境中。

六 多层装饰器

def makebold(fn):
    def wrapper():
        return "<b>" + fn() + "</b>"
    return wrapper
 
def makeitalic(fn):
    def wrapper():
        return "<i>" + fn() + "</i>"
    return wrapper
 
@makebold
@makeitalic
def hello():
    return "hello alvin"
 
hello()

过程:

七 类装饰器

  再来看看类装饰器,相比函数装饰器,类装饰器具有灵活度大、高内聚、封装性等优点。使用类装饰器还可以依靠类内部的__call__方法,当使用 @ 形式将装饰器附加到函数上时,就会调用此方法。

import time

class Foo(object):
    def __init__(self, func):
        self._func = func

    def __call__(self):
        start_time=time.time()
        self._func()
        end_time=time.time()
        print('spend %s'%(end_time-start_time))

@Foo  #bar=Foo(bar)

def bar():

    print ('bar')
    time.sleep(2)

bar()    #bar=Foo(bar)()>>>>>>>没有嵌套关系了,直接active Foo的 __call__方法

八 functools.wraps

  使用装饰器极大地复用了代码,但是他有一个缺点就是原函数的元信息不见了,比如函数的docstring、__name__、参数列表,先看例子:

def foo():
    print("hello foo")

print(foo.__name__)
#####################

def logged(func):
    def wrapper(*args, **kwargs):

        print (func.__name__ + " was called")
        return func(*args, **kwargs)

    return wrapper


@logged
def cal(x):
   return x + x * x


print(cal.__name__)

########
# foo
# wrapper
解释:
@logged
def f(x):
   return x + x * x

等价于:

def f(x):
    return x + x * x
f = logged(f)

不难发现,函数f被wrapper取代了,当然它的docstring,__name__就是变成了wrapper函数的信息了。

print f.__name__    # prints 'wrapper'
print f.__doc__     # prints None

这个问题就比较严重的,好在我们有functools.wraps,wraps本身也是一个装饰器,它能把原函数的元信息拷贝到装饰器函数中,这使得装饰器函数也有和原函数一样的元信息了。

 

from functools import wraps
 
 
def logged(func):
 
    @wraps(func)
 
    def wrapper(*args, **kwargs):
        print (func.__name__ + " was called")
        return func(*args, **kwargs)
    return wrapper
 
@logged
def cal(x):
   return x + x * x
 
print(cal.__name__)  #cal
# -*- coding:utf-8 -*-
from functools import wraps
from datetime import datetime

#类的装饰器写法,日志
class log(object):
    def __init__(self, logfile='c:\out.log'):
        self.logfile = logfile

    def __call__(self, func):
        @wraps(func)
        def wrapped_func(*args, **kwargs):                     
            self.writeLog(*args, **kwargs)    # 先调用 写入日志         
            return func(*args, **kwargs)     # 正式调用主要处理函数       
        return wrapped_func

   #写入日志    
    def writeLog(self, *args, **kwargs):
        time = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
        log_str = time+' 操作人:{0[0]} 进行了【{0[1]}】操作'.format(args)           
        with open(self.logfile, 'a',encoding='utf8') as file:
            file.write(log_str + '\n')

@log()
def myfunc(name,age):
    print('姓名:{0},年龄:{1}'.format(name,age))

if __name__ == '__main__':
    myfunc('小白', '查询')
    myfunc('root', '添加人员')
    myfunc('小小', '修改数据')

 

九 内置装饰器

@staticmathod

@classmethod

@property

学习类的时候我们详细介绍的...

十 补充 

##----------------------------------------foo函数先加载到内存,然后foo变量指向新的引用,所以递归里的foo是wrapper函数对象
# def show_time(func): 
#
#     def wrapper(n):
#         ret=func(n)
#         print("hello,world")
#         return ret
#     return wrapper
#
# @show_time# foo=show_time(foo)
# def foo(n):
#     if n==1:
#         return 1
#     return n*foo(n-1)
# print(foo(6))


########################
def show_time(func):

    def wrapper(n):
        ret=func(n)
        print("hello,world")
        return ret
    return wrapper

@show_time# foo=show_time(foo)
def foo(n):
    def _foo(n):
        if n==1:
            return 1
        return n*_foo(n-1)
    return _foo(n)
print(foo(6))
posted @ 2018-12-07 23:24  dongye95  阅读(225)  评论(0编辑  收藏  举报