python进阶（11）生成器

生成器

利用迭代器，我们可以在每次迭代获取数据（通过next()方法）时按照特定的规律进行生成。但是我们在实现一个迭代器时，关于当前迭代到的状态需要我们自己记录，进而才能根据当前状态生成下一个数据。
为了达到记录当前状态，并配合next()函数进行迭代使用，我们可以采用更简便的语法，即生成器(generator)。生成器是一类特殊的迭代器。
 

创建生成器方法1

要创建一个生成器，有很多种方法。第一种方法很简单，只要把一个列表生成式的 [ ] 改成 ( )

>>> L = [x**2 for x in range(5)]
>>> L
[0, 1, 4, 9, 16]
>>> G = (x**2 for x in range(5))
>>> G
<generator object <genexpr> at 0x7fb63d218750>

创建 L 和 G 的区别仅在于最外层的 [ ] 和 ( ) ， L 是一个列表，而 G 是一个生成器。我们可以直接打印出列表L的每一个元素，而对于生成器G，我们可以按照迭代器的使用方法来使用，即可以通过next()函数、for循环、list()等方法使用。

>>> next(G)
0
>>> next(G)
1
>>> next(G)
4
>>> next(G)
9
>>> next(G)
16
>>> next(G)
Traceback (most recent call last):
  File "<pyshell#39>", line 1, in <module>
    next(G)
StopIteration

>>> G = ( x**2 for x in range(5))
>>> for x in G:
	print(x)

 

创建生成器方法2yield

generator非常强大。如果推算的算法比较复杂，用类似列表生成式的 for 循环无法实现的时候，还可以用函数来实现。
就像之前提到的斐波那切数列
 

注意，在用迭代器实现的方式中，我们要借助几个变量(n、current、num1、num2)来保存迭代的状态。现在我们用生成器来实现一下。

>>> def fib(n):
	current = 0 
	num1, num2 = 0, 1
	while current < n:
		num = num1
		num1, num2 = num2, num1 + num2
		current += 1
		yield num
	return '完成'

>>> F = fib(5)
>>> next(F)
0
>>> next(F)
1
>>> next(F)
1
>>> next(F)
2
>>> next(F)
3
>>> next(F)
Traceback (most recent call last):
  File "<pyshell#80>", line 1, in <module>
    next(F)
StopIteration: 完成

在使用生成器实现的方式中，我们将原本在迭代器__next__方法中实现的基本逻辑放到一个函数中来实现，但是将每次迭代返回数值的return换成了yield，此时新定义的函数便不再是函数，而是一个生成器了。
简单来说：只要在def中有yield关键字的 就称为 生成器
 
此时按照调用函数的方式( 案例中为F = fib(5) )使用生成器就不再是执行函数体了，而是会返回一个生成器对象（ 案例中为F ），然后就可以按照使用迭代器的方式来使用生成器了。

>>> for n in fib(5):
	print(n)

0
1
1
2
3
>>> 

但是用for循环调用generator时，发现拿不到generator的return语句的返回值。如果想要拿到返回值，必须捕获StopIteration错误，返回值包含在StopIteration的value中：

>>> g = fib(5)
>>> while True:
	try:
		x = next(g)
		print(f"value:{x}")
	except StopIteration as e:
		print(f"生成器返回值:{e.value}")
		break

value:0
value:1
value:1
value:2
value:3
生成器返回值:完成

 

生成器和列表的对比

# 列表的内存开销和运行时间
start_time = time.perf_counter()  
list1 = [i for i in range(2, 10001, 2)]
cost_time = time.perf_counter()-start_time
print(f"创建列表的时间:{cost_time}")
print(f"内存开销为{sys.getsizeof(list1)}字节")

# 生成器的内存开销和运行时间
start_time1 = time.perf_counter()
g = (i for i in range(2, 10001, 2))
cost_time1 = time.perf_counter()-start_time1
print(f"创建列表的时间:{cost_time1}")
print(f"内存开销为{sys.getsizeof(g)}字节")

结果

创建列表的时间:0.00024577200000000174
内存开销为43048字节
创建列表的时间:2.2140000000003823e-06
内存开销为128字节

通过结果，我们可以明显的看出，生成器的内存开销和运行速度要明显比列表的要更节省内存，运行速度更快
 

生成器的运用场景

如果有一个包含100w个元素的列表，但是我们仅仅只想访问前3个，那么后面的列表元素占用的内存空间都是浪费的，这个时候我们没必要创建完成的list，可以使用生成器，从而可以节省大量内存空间
 

总结

• 使用了yield关键字的函数不再是函数，而是生成器。（使用了yield的函数就是生成器）
• yield关键字有两点作用：
  • 保存当前运行状态（断点），然后暂停执行，即将生成器（函数）挂起
  • 将yield关键字后面表达式的值作为返回值返回，此时可以理解为起到了return的作用
• 可以使用next()函数让生成器从断点处继续执行，即唤醒生成器（函数）
• Python3中的生成器可以使用return返回最终运行的返回值，而Python2中的生成器不允许使用return返回一个返回值（即可以使用return从生成器中退出，但return后不能有任何表达式）。
   

使用send唤醒

我们除了可以使用next()函数来唤醒生成器继续执行外，还可以使用send()函数来唤醒执行。使用send()函数的一个好处是可以在唤醒的同时向断点处传入一个附加数据。
 
例子：执行到yield时，gen函数作用暂时保存，返回i的值; temp接收下次c.send("python")，send发送过来的值，c.next()等价c.send(None)

>>> def gen():
	i = 0
	while i < 5:
		temp = yield i
		print(temp)
		i += 1

使用send

>>> f = gen()
>>> next(f)
0
>>> f.send('haha')
haha
1
>>> next(f)
None
2
>>> f.send('haha')
haha
3
>>>