python 迭代器对象、迭代器、生成器完全理解。
本文源自于 python之禅
在了解Python数据结构时，容器（container）、可迭代对象（iterable）、迭代器（iterator）、生成器（generator）、列表、集合、字典推导式（list、set、dict comprehension）众多概念掺杂在一起，难免让初学者一头雾水，用下面这篇文章试图将这些概念以及它们之间的关系锊清楚。
容器（container）
容器是一种把多个元素组织在一起的数据结构，容器中的元素可以逐个地迭代获取，可以用 in、not in 关键字判断元素是否包含在容器中。通常这类数据结构把所有的元素存储在内存中（也有一些特例，并不是所有的元素都放在内存，比如迭代器和生成器对象）在python中，常见的容器有：
- list，deque，.....
- set，frozensets，......
- dict ，defaultdict， OrderedDict, Counter, ....
- tuple, namedtuple, …
- str
容器比较容易理解，因为你可以把它看作是一个盒子、一栋房子、一个柜子，里面可以塞任何东西。从技术角度说，当它可以用来询问某个元素是否包含在其中时，那么这个对象就可以认为是一个容器，比如 list 、set、tuples 都是容器对象：
>>> assert 1 in [1, 2, 3] # lists >>> assert 4 not in [1, 2, 3] >>> assert 1 in {1, 2, 3} # sets >>> assert 4 not in {1, 2, 3} >>> assert 1 in (1, 2, 3) # tuples >>> assert 4 not in (1, 2, 3)
询问某元素是否在dict中用dict的中key：
>>> d = {1: 'foo', 2: 'bar', 3: 'qux'}
>>> assert 1 in d
>>> assert 'foo' not in d # 'foo' 不是dict中的元素
询问某substring是否在string中：
>>> s = 'foobar' >>> assert 'b' in s >>> assert 'x' not in s >>> assert 'foo' in s
尽管绝大多数容器都提供了某种方式来获取其中的每一个元素，但这并不是容器本身提供的能力，而是可迭代器对象赋予了容器这种能力，当然并不是所有的容器都是可迭代的。
可迭代对象（iterable）
刚才说过，很多容器都是可迭代对象，此外还有更多的对象同样也是可迭代对象，比如处于打开状态的files，sockets等等。但凡是可以返回一个迭代器的对象都可称之为可迭代对象，听起来可能有点困惑，没关系，先看一个例子：
>>> x = [1,2,3] >>> y = iter(x) >>> z = iter(x) >>> next(y) 1 >>> next(y) 2 >>> next(z) 1 >>> type(x),type(y) (<class 'list'>, <class 'list_iterator'>)
这里 “x” 是一个可迭代对象，可迭代对象和容器一样是一种通俗的叫法，并不是指某种具体的数据类型，list是可迭代对象，dict是可迭代对象，set也是可迭代对象。y 和 z 是两个独立的迭代器，迭代器内部持有一个状态，该状态用于记录当前迭代所在的位置，以方便下次迭代的时候获取正确的元素。迭代器有一种具体的迭代器类型，比如list_iterator，set_iterator。可迭代对象实现了__iter__方法，该方法返回一个迭代器对象。
当运行代码：
x = [1, 2, 3] for elem in x: ...
反编译该段代码，你可以看到解释器显示地调用GET_ITER指令，相当于调用iter(x)，FOR_ITER指令就是调用next()方法，不断地获取迭代器中的下一个元素，但是你没法直接从指令中看出来，因为他被解释器优化过了。
>>> import dis >>> x = [1,2,3] >>> dis.dis('for _ in x: pass') 1 0 SETUP_LOOP 12 (to 14) 2 LOAD_NAME 0 (x) 4 GET_ITER >> 6 FOR_ITER 4 (to 12) 8 STORE_NAME 1 (_) 10 JUMP_ABSOLUTE 6 >> 12 POP_BLOCK >> 14 LOAD_CONST 0 (None) 16 RETURN_VALUE
迭代器（iterator）
那什么是迭代器呢？它是一个带状态的对象，他能在你调用 next() 方法的时候返回容器中的下一个值，任何实现了 __iter__ 和 __next__（） 方法的对象都是迭代器，__iter__ 返回迭代器自身， __next__ 返回容器中的下一个值，如果容器中没有更多元素了，则抛出 StopIteration 异常，至于它们到底是如何实现的这并不重要。
所以，迭代器就是实现了工厂模式的对象，它在每次你询问下一个值得时候给你返回。有很多关于迭代器的例子，比如，itertools 函数返回的都是迭代器对象。
生成无限序列：
>>> from itertools import count >>> counter = count(start=13) >>> next(counter) 13 >>> next(counter) 14
从一个有限序列中生成无限序列：
>>> from itertools import cycle >>> colors = cycle(['red', 'white', 'blue']) >>> next(colors) 'red' >>> next(colors) 'white' >>> next(colors) 'blue' >>> next(colors) 'red'
从无限的序列中生成有限序列：
>>> from itertools import cycle >>> from itertools import islice >>> colors = cycle(['red', 'white', 'blue']) # infinite >>> limited = islice(colors, 0, 4) # finite >>> for x in limited: ... print(x) red white blue red
迭代器就像一个懒加载的工厂，等到有人需要的时候才给它生成值返回，没调用的时候就处于休眠状态等待下一次调用。
生成器(generator)
生成器算得上是Python语言中最吸引人的特性之一，生成器其实是一种特殊的迭代器，不过这种迭代器更加优雅。它不需要再像上面的类一样写__iter__()和__next__()方法了，只需要一个 yiled 关键字。 生成器一定是迭代器（反之不成立），因此任何生成器也是以一种懒加载的模式生成值。用生成器来实现斐波那契数列的例子是：
>>> def fib(max): ... n,a,b = 0,0,1 ... while n < max: ... yield b ... a,b = b,a+b ... n += 1 ... >>> fib(10) <generator object fib at 0x7f16368270f8> >>> f = fib(10) >>> next(f) 1 >>> next(f) 1 >>> next(f) 2 >>> next(f)
fib就是一个普通的python函数，它特殊的地方在于函数体中没有return关键字，函数的返回值是一个生成器对象。当执行f=fib()返回的是一个生成器对象，此时函数体中的代码并不会执行，只有显示或隐示地调用next的时候才会真正执行里面的代码。
生成器在Python中是一个非常强大的编程结构，可以用更少地中间变量写流式代码，此外，相比其它容器对象它更能节省内存和CPU，当然它可以用更少的代码来实现相似的功能。
生成器表达式(generator expression)
生成器表达式是列表推倒式的生成器版本，看起来像列表推导式，但是它返回的是一个生成器对象而不是列表对象。
>>> a = (x*x for x in range(10)) >>> a <generator object <genexpr> at 0x401f08> >>> sum(a) 285
总结
- 容器是一系列元素的集合，str、list、set、dict、file、sockets对象都可以看作是容器，容器都可以被迭代（用在for，while等语句中），因此他们被称为可迭代对象。
- 可迭代对象实现了
__iter__方法，该方法返回一个迭代器对象。 - 迭代器持有一个内部状态的字段，用于记录下次迭代返回值，它实现了
__next__和__iter__方法，迭代器不会一次性把所有元素加载到内存，而是需要的时候才生成返回结果。 - 生成器是一种特殊的迭代器，它的返回值不是通过
return而是用yield。
yield 例子
例子1：典型的斐波那契数列是一个非常简单的地柜数列，除第一个和第二个数以外，任意一个数都可以由前两个数相加得到。
def fab(max): n, a, b = 0, 0, 1 while n < max: yield b a, b = b, a + b n = n + 1
yield 的作用就是把一个函数变成一个generator，带有 yield 的函数不再是一个普通函数，Python 解释器会将其视为一个生成器，如调用fab函数， 不会执行该函数，而是返回一个iterable迭代对象！
在for循环执行时，每次循环都会相当于执行生成器的next函数，才开始执行fab函数的内部代码，执行到yield b时，fab函数就返回一个迭代值，然后挂起。
下次迭代时，代码从yield b的下一条语句继续执行，而函数的本地变量看起来和上次中断执行前是完全一样的，于是函数继续执行，直到再次遇到yield。
例子2：了解send的使用
def d(): global m global n while True: print ("send() will here... test generator send()") m = yield 5 print ("send input is m : %s" % m) n = yield 6 print ("test generator send2") g_obj = d() print ("===============g_obj test d: %s" % g_obj) s_return1 = g_obj.send(None) s_return2 = g_obj.send("send twice") s_return3 = g_obj.send("thrid twice") print("the next send input will be the result of last yield, just like m is : %s, s_return1 is : %s, s_return2 is : %s" % (m, s_return1, s_return2)) print("not next send so n is undefind, n is : %s" % n)
结果：
===============g_obj test d: <generator object d at 0x0000022C6A729200> send() will here... test generator send() send input is m : send twice test generator send2 send() will here... test generator send() the next send input will be the result of last yield, just like m is : send twice, s_return1 is : 5, s_return2 is : 6 not next send so n is undefind, n is : thrid twice
send用法说明：
关于输入：send的输入是本次遇到yield时，先赋值给yield表达式的结果。有点难懂，详细说明。
1.执行上面程序以后，先把生成器读取到内存，然后当 遇到第一个 sned的时候，也就是： s_return1 = g_obj.send(None) ，相当于是做了一个next的操作，去执行了生成器，然后当执行到函数里面的 yield 的时候，函数被冻结住，yield 有返回值得作用，因此，此时 s_return1 有一个隐式返回值 5，但是并不会执行出来。
2.然后继续执行 s_return2 = g_obj.send("send twice") 的时候， s_return1 才获得了返回的值 5，这时，就会执行第一个yield 后面的语句，当遇到 一直遇到 第二个yield 时，才会又被冻结住，然后，跟第一次遇到的类似，继续执行 s_return3 = g_obj.send("thrid twice") n 的值才会获取到，并且，s_return2 = 6
关于输出：比较简单，就是yield的结果。如s_return = send(None)，由于yield 5，所以s_return= 5
例子3：使用yield实现协程
举例：生产者生产消息后，直接通过yield跳转到消费者开始执行，待消费者执行完毕后，切换回生产者继续生产。
def consumer(): r = '' while True: n = yield r if not n: print("not n...") return print('[CONSUMER] Consuming %s...' % n) r = '200 OK' def produce(c): f = c.send(None) print('[PRODUCER] Consumer first return: %s' % f) n = 0 while n < 2: n = n + 1 print('[PRODUCER] Producing %s...' % n) r = c.send(n) print('[PRODUCER] Consumer return: %s' % r) c.close() c = consumer() produce(c)
结果：
[PRODUCER] Consumer first return: [PRODUCER] Producing 1... [CONSUMER] Consuming 1... [PRODUCER] Consumer return: 200 OK [PRODUCER] Producing 2... [CONSUMER] Consuming 2... [PRODUCER] Consumer return: 200 OK
协程的说明：
注意到consumer函数是一个generator，把一个consumer传入produce后：
- 首先调用c.send(None)启动生成器；
- 然后，一旦生产了东西，通过c.send(n)切换到consumer执行；
- consumer通过yield拿到消息，处理，又通过yield把结果传回；
- produce拿到consumer处理的结果，继续生产下一条消息；
- produce决定不生产了，通过c.close()关闭consumer，整个过程结束。
整个流程无锁，由一个线程执行，produce和consumer协作完成任务，所以称为“协程”，而非线程的抢占式多任务。
