ql的python学习之路-day10

前言：本节主要讲解迭代器和生成器

迭代器&生成器

一、生成器（generator）

循环占用大部分的容量内存，如果只需要循环前面的几个结果那怎么样做呢，在python中有一种一边循环一边计算的机制，称为生成器：generator，就能解决这个问题。

生成器只有在调用的时候才会产生相应的数据，用__next（）__方法调用（2.7版本里是next（）），生成器只能记录当前的位置，不能后退也不能记录以后的数据。

实例：斐波那契数列中的生成器

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# Author:qinjiaxi
def fib(max):
    n, a, b = 0, 0, 1#初始化
    while n < max:#循环
        yield b
        #print(b)#打印b
        a, b = b, a + b
        n += 1
    return "done"#异常的时候打印的消息

#抓异常
g = fib(6)
while True:
    try:
        x = next(g)
        print("g:", x)
    except StopIteration as e:
        print("Generator return value:", e.value)
        break
#调用生成器
f = fib(10)
print(f)#打印生成器对象的内存地址
print(next(f))#取第一个值
print(f.__next__())#取第二个值
print(next(f))#取第三个值
print("---start loop---")
for i in f:#循环取剩下的数据
    print(i)
#注：当用next（）方法调用次数超过设定值时，会产生异常

#理解其中的a, b = b, a + b
t = (b, a + b)#实际有个临时变量t，t是一个元组
a = t[0]
b = t[1]
#t不会显式的出现在代码中

生成器实际工作中的应用：协程(单线程并行处理)，异步io处理

yeild作用是保存当前状态并返回，无返回值（返回值是None）

next方法调用yield，send方法调用yield并给yield传值,yield后面加上一个变量，可以返回变量

协程1源码：

#!/user/bin/env python
#-*-coding:utf-8 -*-
#Author: qinjiaxi
import time
def consumer(name):
    print("%s准备吃包子了" % name)
    while True:
        baozi = yield
        print("包子[%s]被%s吃了" % (baozi, name))

c = consumer('ql')
#next(c)#停在yield位置（中断，返回迭代值）
#c.__next__()#从yield下一句开始执行，由于默认没有给yield传递参数所以返回的是None，执行完后又回到yield这一行
#c.__next__()
#c.send("韭菜馅的")#send方法可以调用yield并且给yield传送参数

def producer(name):
    c = consumer('A')
    c1 = consumer('B')
    c.__next__()#A准备吃包子了
    c1.__next__()#B准备吃包子了
    print("%s开始做包子了" % name)
    for i in range(10):
        time.sleep(1)
        print("做了一个包子分两半")
        c.send(i)#传递i到A的yield，给A的yield赋值
        c1.send(i)#传递i到B的yield，给B的yield赋值
producer('qinlang')

协程2源码：

#!/user/bin/env python
#-*-coding:utf-8 -*-
#Author: qinjiaxi
import time
def consumer():
    r = ''#初始化r
    while True:
        n = yield r#将值传给n，然后执行下一句，碰到r变量再返还r给producer函数
        print("[consumer] is consuming %s " % n)
        r = '200 is ok'

def producer(c):
    c.send(None)
    n = 0
    while n < 5:
        n = n + 1
        time.sleep(1)
        print("[producer] is producting %s" % n)
        r = c.send(n)
        print("[producer] cousumer return %s" % r)
    # for i in range(6):
    #     time.sleep(1)
    #     print('[producer] is producing %s ' % i)
    #     r = c.send(i)#传n值给生成器yield
    #     print('[producer] consumer return %s' % r)
    c.close()#关闭生成器
c = consumer()
producer(c)

 

结论：

一个带有yield的函数就是一个generator，它和普通函数不一样，生成器generator看起来像函数，其实不会执行任何函数代码，直到对其调用next（）方法（在for循环中会自动调用next（）方法）才会执行。虽然执行仍然像函数一样执行，其实当执行到yield时候就会中断并返回一个迭代值，当再次调用next（）方法时从yield下一句开始执行。看起来就好像一个函数在正常执行的时候被yield中断了数次，每次中断都会通过yield返回迭代值。

二、迭代器（Iterator）

我们知道能直接作用于for循环的数据类型有以下几种：

一类是集合数据类型，如list、tuple、str、set、dict

一类是generator，包括生成器和带yield的generator function

*这些可以直接作用于for循环的对象统称为可迭代对象：Iterable

可以使用isinstance（）来判断一个对象是否是iterable对象：

>>> from collections import Iterable
>>> isinstance([], Iterable)
True
>>> isinstance('abc', Iterable)
True
>>> isinstance({}, Iterable)
True
>>> isinstance((i for i in range(10)), Iterable)
True
>>> isinstance(100, Iterable)
False

生成器不但可以作用于for循环，还可以被next（）函数不断的调用并返回下一个值，直到最后抛出StopIteration错误表示无法继续返回下一个值。

*可以被next（）函数调用并且不断返回下一个值的对象称为迭代器：Iterator

可以使用isinstance（）来判断一个对象是否是interator对象：

>>> from collections import Iterator
>>> isinstance([], Iterator)
False
>>> isinstance({}, Iterator)
False
>>> isinstance((i for i in range(10)), Iterator)
True

由上可知生成器都是Iterator对象，但list、dict、str虽然是Iterable但不是Iterator。

把list、dict、str等Iterable变成Iterator可以使用iter（）函数：

>>> isinstance(iter([]), Iterator)
True
>>> isinstance(iter('abc'), Iterator)
True
>>> isinstance(iter({}), Iterator)
True

 为什么list、dict、str等数据不是Iterator？

因为python的Iterator对象表示的是一个数据流，Iterator对象可以被next（）函数调用并不断的返回下一个数据，直到没有数据时抛出StopIteration错误。可以把数据流看做是一个有序序列，但是我们提前并不知道序列的长度，只有通过next（）函数按需继续下一个数据，所以Iterator的计算是惰性的，只有在需要返回下一个数据的时候才计算。

Iterator甚至可以表示一个无限大的数据流，例如全体自然数。但是list是永远不可能村粗全体自然数的。

小结：

凡是可作用于for循环的对象都是Iterable类型（可迭代类型）；

凡是可以作用于next（）函数的对象都是Iterator类型（迭代器类型），它们表示一个惰性的计算序列；

集合数据类型例如list、dict、str等都是Iterable（可迭代对象）但不是Iterator（迭代器），可以通过iter（）函数获得一个迭代对象。

Python的for循环的本质就是不断的通过调用next（）函数实现的。

python3.0中range（10）其实是一个迭代器

python2.x中xrange（10）是迭代器