Python的生成器和迭代器
1.Python的生成器（generator）
为什么要有生成器？
通过列表生成式，我们可以直接创建一个列表。但是列表所有数据都在内存中，如果有海量数据的话将会非常耗内存。
如果列表元素按照某种算法推算出来，那我们就可以在循环的过程中不断推算出后续的元素，这样就不必创建完整的list，从而节省大量的空间。
简单一句话：我又想要得到庞大的数据，又想让它占用空间少，那就用生成器！
（1）生成器的创建
1.方法一：列表生成式中，只需要把[] 改成(), 就创建了一个generator
比如原来的列表生成式,返回的是一个list :
L = [x * x for x in range(10)]
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
改为（）后，返回的是一个generator
L = (x * x for x in range(10)])
<generator object
2.方法二：使用yield关键字创建生成器
一个函数中包含yield关键字，那么这个函数就不再是一个普通函数，而是一个generator。
def func():
yield
func()
<generator object func at 0x7fc07d2a7cd0>
下面将具体讨论yield关键字的用法：
yield相当于 return 返回一个值，并且记住这个返回的位置，下次迭代时，代码从yield位置继续执行。
yield关键字 有两个主要的函数让生成器走向下一步：
-
next() 让生成器继续往下一步走。（第一次是开始运行函数，到yield的位置返回值，然后函数暂停；后面每一个next，都是从上次yield返回值的位置开始，继续走到下一个yield返回值的位置，也就是每一次的next开始的地方是接着上一次的next停止的地方执行的）。
-
.send()能传一个值，这个值作为yield表达式整体的结果。换句话说，就是send可以强行修改上一个yield表达式值。比如函数中有一个yield赋值，a = yield 5，第一次迭代到这里会返回5，a还没有赋值。第二次迭代时，使用.send(10)，那么，就是强行修改yield 5表达式的值为10，本来是None的，现在是a=10。
为了更直观的了解整个yield关键字的运行步骤，下面用两个代码示范理解。
代码1
def foo():
print("starting...")
while True:
res = yield 4
print("res:",res)
g = foo()
print(next(g))
print("*"*20)
print(next(g))
代码的输出为：
starting...
4
********************
res: None
4
1.程序开始执行以后，因为foo函数中有yield关键字，所以foo函数并不会真的执行，而是先得到一个生成器g(相当于一个对象)
2.直到调用next方法，foo函数正式开始执行，先执行foo函数中的print方法，然后进入while循环
3.程序遇到yield关键字，然后把yield想想成return,return了一个4之后，程序停止，并没有执行赋值给res操作，此时next(g)语句执行完成，所以输出的前两行（第一个是while上面的print的结果,第二个是return出的结果）是执行print(next(g))的结果，
4.程序执行print(""20)，输出20个*
5.又开始执行下面的print(next(g)),这个时候和上面那个差不多，不过不同的是，这个时候是从刚才那个next程序停止的地方开始执行的，也就是要执行res的赋值操作，这时候要注意，这个时候赋值操作的右边是没有值的（因为刚才那个是return出去了，并没有给赋值操作的左边传参数），所以这个时候res赋值是None,所以接着下面的输出就是res:None,
6.程序会继续在while里执行，又一次碰到yield,这个时候同样return 出4，然后程序停止，print函数输出的4就是这次return出的4.
代码示例2 ，关于.sent()函数
def foo():
print("starting...")
while True:
res = yield 4
print("res:",res)
g = foo()
print(next(g))
print("*"*20)
print(g.send(7))
输出结果
starting...
4
********************
res: 7
4
可以看到，res的值从None变成了7。原因如下：
5.程序执行g.send(7)，程序会从yield关键字那一行继续向下运行，send会把7这个值赋值给res变量
6.由于send方法中包含next()方法，所以程序会继续向下运行执行print方法，然后再次进入while循环
7.程序执行再次遇到yield关键字，yield会返回后面的值后，程序再次暂停，直到再次调用next方法或send方法。
（2）生成器的取值调用
由于带有 yield 的函数不再是一个普通函数，而是一个生成器generator。
从生成器中取值有以下两种方式：
-
可用next()调用生成器对象来取值。next 两种方式 t.next() 或 next(t)。
-
可用for 循环获取返回值（每执行一次，取生成器里面一个值）
（基本上不会用next()来获取下一个返回值，而是直接使用for循环来迭代）。
代码示例
def foo(a,b):
num=a
print("start********")
while num <= b:
yield num
num += 1
- 用next()方法获取返回值
g=foo(1,3)
print(next(g))
print(next(g))
print(next(g))
start********
1
2
3
- 用for循环的方法获取返回值
for i in foo(0,5):
print(i)
start********
0
1
2
3
4
5
2.Pyhton的迭代器
在Python中，迭代器是遵循迭代协议的对象，用来表示一连串数据流。重复调用迭代器的next()方法（或将其传给内置函数 next()）将逐个返回数据流中的项。当没有数据可用时则将引发 StopIteration 异常。
迭代器分为两类，这些可以直接作用于 for 循环的对象统称为可迭代对象： Iterable 。
- 一类是集合数据类型，如 list 、 tuple 、 dict 、 set 、 str 等；
- 一类是 generator ，包括生成器和带 yield 的generator function。
迭代器有两个基本方法：
- iter() 返回一个迭代器对象
- next() 逐一返回迭代对象中的项
代码示例
list = ['A', 'B', 'C']
iters = iter(list)
print(next(iters))
print(next(iters))
print(next(iters))
print(next(iters))
# list 是长度为3的列表，使用list作为参数返回的迭代器中可迭代的项目也只有3个，当超出可迭代的范围时将引发 StopIteration 异常。
# 迭代器对象可以使用for语句进行遍历。
list = ['A', 'B', 'C']
iters = iter(list)
for i in iters:
print(i)
总结
-
凡是可以for循环的，都是Iterable，可迭代对象
-
凡是可以next()的，都是Iterator，生成器
-
集合数据类型如list，truple，dict，str，都是Itrable不是Iterator，但可以通过iter()函数获得一个Iterator对象
3.Python中处理可迭代对象的常用函数
Python中有几个处理可迭代对象的常用函数，这边总结一下：
1.map函数
map() 会根据提供的函数对指定序列做映射，返回映射后的序列的迭代器。
map(function, iterable, ...)
第一个参数 function ，第二个参数是序列。以参数序列中的每一个元素调用 function 函数，返回 function 函数映射后的新列表。
2.filter函数
filter() 函数用于过滤序列，过滤掉不符合条件的元素，返回由符合条件元素组成的新列表（返回的是一个迭代器，不是一个List）。
filter(function, iterable)
该函数接收两个参数，第一个为函数，第二个为序列，序列的每个元素作为参数传递给函数进行判断，然后返回 True 或 False，最后将返回 True 的元素放到新列表中。
3.reduce函数
reduce() 函数会对参数序列中元素进行累积。
reduce(function, iterable[, initializer])
函数将一个数据集合（链表，元组等）中的所有数据进行下列操作：用传给 reduce 中的函数 function（有两个参数）先对集合中的第 1、2 个元素进行操作，得到的结果再与第三个数据用 function 函数运算，最后得到一个结果。
比如：
>>>def add(x, y) : # 两数相加
... return x + y
...
>>> reduce(add, [1,2,3,4,5]) # 计算列表和：1+2+3+4+5
15
>>> reduce(lambda x, y: x+y, [1,2,3,4,5]) # 使用 lambda 匿名函数
15
4.sorted函数
sorted() 函数对所有可迭代的对象进行排序操作。
sorted(iterable, cmp=None, key=None, reverse=False)
输入一个可迭代对象，指定排序的值，返回一个排序好的序列。
>>> students = [('john', 'A', 15), ('jane', 'B', 12), ('dave', 'B', 10)]
>>> sorted(students, key=lambda s: s[2]) # 按年龄排序
[('dave', 'B', 10), ('jane', 'B', 12), ('john', 'A', 15)]
>>> sorted(students, key=lambda s: s[2], reverse=True) # 按降序
[('john', 'A', 15), ('jane', 'B', 12), ('dave', 'B', 10)]
>>>
5.combination函数
Python itertools模块可以创建一个迭代器，返回iterable中所有长度为r的子序列，返回的子序列中的项按输入iterable中的顺序排序。
combinations(iterable, r)
代码示例
from itertools import combinations
list1 = [1, 3, 4, 5]
list2 = list(combinations(list1, 2))
print(list2)
返回结果：
[(1, 3), (1, 4), (1, 5), (3, 4), (3, 5), (4, 5)]
