Python迭代器和生成器

【一】迭代器介绍

• 迭代器即用来迭代取值的工具，而迭代是重复反馈过程的活动
  • 其目的通常是为了逼近所需的目标或结果，每一次对过程的重复称为一次“迭代”
  • 而每一次迭代得到的结果会作为下一次迭代的初始值,单纯的重复并不是迭代

while True:
    msg = input(">>:").strip()
    print(msg)

• 下述while循环才是一个迭代过程
  • 不仅满足重复，而且以每次重新赋值后的index值作为下一次循环中新的索引进行取值
  • 反复迭代，最终可以取尽列表中的值

goods=['mac','lenovo','acer','dell','sony']
index = 0
while index < len(goods):
    print(goods[index])
    index += 1

【二】可迭代对象

【1】引入

• 通过索引的方式进行迭代取值，实现简单
  • 但仅适用于序列类型：字符串，列表，元组。对于没有索引的字典、集合等非序列类型
  • 必须找到一种不依赖索引来进行迭代取值的方式，这就用到了迭代器。
• 要想了解迭代器为何物，必须事先搞清楚一个很重要的概念：
  • 可迭代对象(Iterable)。

【2】可迭代对象

• 从语法形式上讲，内置有__iter__方法的对象都是可迭代对象

# 【1】数字类型
# 【1.1】整数类型 --- 不是
num = 1
print(num.__iter__)
'''
Traceback (most recent call last):
  File "E:\PycharmProjects\demo\venv\demo.py", line 110, in <module>
    print(num.__iter__)
AttributeError: 'int' object has no attribute '__iter__'. Did you mean: '__str__'?
'''

# 【1.2】浮点类型 --- 不是
num_float = 1.0
print(num_float.__iter__())
'''
Traceback (most recent call last):
  File "E:\PycharmProjects\demo\venv\demo.py", line 111, in <module>
    print(num_float.__iter__())
AttributeError: 'float' object has no attribute '__iter__'. Did you mean: '__str__'?
'''

# 【2】字符串类型
name = 'zhang'
print(name.__iter__)
print(name.__iter__())
'''
<method-wrapper '__iter__' of str object at 0x0000020D01D283B0>
<str_iterator object at 0x0000020D01E0AE90>
'''

# 【3】布尔类型
is_right = False
print(is_right.__iter__)
'''
Traceback (most recent call last):
  File "E:\PycharmProjects\demo\venv\demo.py", line 110, in <module>
    print(is_right.__iter__)
AttributeError: 'bool' object has no attribute '__iter__'. Did you mean: '__str__'?
'''

# 【4】列表类型
name_list = [1,2,3]
print(name_list.__iter__)
'''
Traceback (most recent call last):
  File "E:\PycharmProjects\demo\venv\demo.py", line 110, in <module>
    print(is_right.__iter__)
AttributeError: 'bool' object has no attribute '__iter__'. Did you mean: '__str__'?
'''

#【5】字典类型
info_dict = {"name":"zhangsan"}
print(info_dict.__iter__)
<method-wrapper '__iter__' of dict object at 0x000001E71C2F00C0>
print(info_dict.__iter__())
<dict_keyiterator object at 0x000001E71C340450>

#【6】元组类型

【3】小结

• 非可迭代对象
  • 整数类型
  • 浮点类型
  • 布尔类型
• 可迭代对象
  • 字符串类型
  • 列表类型
  • 字典类型
  • 元祖类型
  • 集合类型

【三】迭代器对象

• 调用obj.__iter__()方法返回的结果就是一个迭代器对象(Iterator)。

• 迭代器对象是内置有

  iter
  

  和

  next
  

  方法的对象，打开的文件本身就是一个迭代器对象

  • 执行迭代器对象.iter()方法得到的仍然是迭代器本身
  • 而执行迭代器.next()方法就会计算出迭代器中的下一个值。

• 迭代器是Python提供的一种统一的、不依赖于索引的迭代取值方式，只要存在多个“值”，无论序列类型还是非序列类型都可以按照迭代器的方式取值

【1】获取迭代器对象的两种方式

（1）__iter__()

name_str = 'zhang'
name_iter_two = iter(name_str)
print(name_iter_two)
# <str_iterator object at 0x0000027F4471AE90>

（2）iter()

name_str = 'dream'
name_iter_two = iter(name_str)
print(name_iter_two)

# <str_iterator object at 0x00000248CE0AAE90>

【2】迭代器对象取值的两种方式

name_str = "zhang"
name_iter = name_str.__iter__()
print(name_iter)
# <str_iterator object at 0x0000021D3241AE90>
print(name_iter.__next__())
# z

【3】数据类型示例

# 【1】字符串类型
name_str = 'zhang'
name_iter = name_str.__iter__()
name_iter_two = iter(name_str)
print(name_iter)
print(name_iter_two)
# <str_iterator object at 0x0000026BD787AE90>
# <str_iterator object at 0x0000026BD787A9E0>
print(name_iter.__next__())
print(next(name_iter))
# z
# h

# 【2】列表类型
name_list = [1,2,3]
name_list_iter = iter(name_list)
print(name_list_iter)
# <list_iterator object at 0x000001980819AE90>
print(name_list_iter.__next__())
print(next(name_list_iter))
# 1
# 2

# 【3】字典类型
info_dict = {"name":"zhangsan","age":18}
info_dict_iter = iter(info_dict)
print(info_dict_iter)
# <dict_keyiterator object at 0x000001E75CB62CA0>
print(info_dict_iter.__next__())
print(next(info_dict_iter))
# name
# age

# 【4】元组类型
num_tuple = (1,2)
num_tuple_iter = iter(num_tuple)
print(num_tuple_iter)
# <tuple_iterator object at 0x0000028789DEAE90>
print(num_tuple_iter.__next__())
print(next(num_tuple_iter))
# 1
# 2
# 【5】集合类型
num_set = {1,2,3}
num_set_iter  = iter(num_set)
print(num_set_iter)

print(num_set_iter.__next__())
print(next(num_set_iter))
# <set_iterator object at 0x0000025E3EF0FF00>
# 1
# 2

【四】for循环原理详解

• 有了迭代器后，我们便可以不依赖索引迭代取值了，使用while循环的实现方式如下

goods = ["apple","banana","water"]
i = iter(goods)
while True:
    try:
        print(next(i))
    except StopIteration:
        break

• for循环又称为迭代循环，in后可以跟任意可迭代对象，上述while循环可以简写为

goods = ["apple","banana","water"]
for item in goods:
    print(item)

• for 循环在工作时
  • 首先会调用可迭代对象goods内置的iter方法拿到一个迭代器对象
  • 然后再调用该迭代器对象的next方法将取到的值赋给item
  • 执行循环体完成一次循环
  • 周而复始，直到捕捉StopIteration异常，结束迭代。

【五】迭代器的优缺点

• 基于索引的迭代取值，所有迭代的状态都保存在了索引中
• 而基于迭代器实现迭代的方式不再需要索引
• 所有迭代的状态就保存在迭代器中
• 然而这种处理方式优点与缺点并存

【1】优点

• 为序列和非序列类型提供了一种统一的迭代取值方式。
• 惰性计算：
  • 迭代器对象表示的是一个数据流，可以只在需要时才去调用next来计算出一个值
  • 就迭代器本身来说，同一时刻在内存中只有一个值，因而可以存放无限大的数据流，而对于其他容器类型
  • 如列表，需要把所有的元素都存放于内存中，受内存大小的限制，可以存放的值的个数是有限的。

【2】缺点

• 除非取尽，否则无法获取迭代器的长度
• 只能取下一个值，不能回到开始，更像是‘一次性的’，迭代器产生后的唯一目标就是重复执行next方法直到值取尽，否则就会停留在某个位置，等待下一次调用next；
• 若是要再次迭代同个对象，你只能重新调用iter方法去创建一个新的迭代器对象，如果有两个或者多个循环使用同一个迭代器，必然只会有一个循环能取到值。

【六】什么是生成器

• Python中的生成器是一种特殊的迭代器，可以在需要时生成数据，而不必提前从内存中生成并存储整个数据集。
• 通过生成器，可以逐个生成序列中的元素，而无需一次性生成整个序列。
• 生成器在处理大数据集时，具有节省内存、提高效率的特点。

【七】生成器有两种创建方式

【1】列表推导式

• 使用列表推导式时，可以将列表推导式的方括号改为圆括号，即可创建一个生成器。

# 列表生成式生成列表
start_list = [x * 2 for x in range(5)]
print(start_list)
# [0, 2, 4, 6, 8]

# 将列表改成元祖，看起来像元祖推导式，其实是一个生成器对象
G = (x * 2 for x in range(5))
print(G)
# <generator object <genexpr> at 0x000002819F2B4430>
print(list(G))
# [0, 2, 4, 6, 8]

• 怎么打印出生成器的每一个元素呢？
  • 如果要一个一个打印出来，可以通过 next() 函数获得生成器的下一个返回值
• 生成器保存的是算法
  • 每次调用 next(G) ，就计算出 G 的下一个元素的值，直到计算到最后一个元素，没有更多的元素时，抛出 StopIteration 的异常。
  • 当然，这种不断调用 next() 实在是太变态了，正确的方法是使用 for 循环，因为生成器也是可迭代对象。
  • 所以，我们创建了一个生成器后，基本上永远不会调用 next() ，而是通过 for 循环来迭代它，并且不需要关心 StopIteration 异常。

G = (x * 2 for x in range(5))
for i in G:
    print(i)
# 0
# 2
# 4
# 6
# 8

【2】yield关键字

（1）yield关键字介绍

• 使用yield关键字定义一个生成器函数时，生成器函数中的yield语句会暂停函数执行并返回一个值，下一次调用该函数时会继续执行并返回下一个值。

def my_generater():
    yield 1
    yield 2
    yield 3

g = my_generater()
print(next(g))
print(next(g))
print(next(g))
# 1
# 2
# 3

• 在上面的代码中，my_generator()是一个生成器函数，通过yield关键字逐个生成值。
• 在调用该函数时，会得到一个生成器对象。
• 通过调用next()函数，可以逐个返回生成器中的值。

（2）yield关键字使用

• 在函数内可以采用表达式形式的yield

def eater():
    print('开始吃饭 ovo')
    while True:
        food = yield
        print(f'得到的食物是 :>>>> {food}, 开始吃饭喽 :>>>> {food}')

• 可以拿到函数的生成器对象持续为函数体send值

# 定义生成器
def eater():
    print('开始吃饭 ovo ')
    while True:
        food = yield
        print(f'得到的食物是 :>>>> {food}, 开始吃饭喽 :>>>> {food}')


# 得到生成器对象
food_eater = eater()

# 需要事先”初始化”一次，让函数挂起在food=yield，等待调用food_eater.send()方法为其传值

# food_eater.send(None)
# 等同于
next(food_eater)

# 开始吃饭 ovo

food_eater.send('包子')
# 得到的食物是 :>>>> 包子, 开始吃饭喽 :>>>> 包子

food_eater.send('鸡腿')
# 得到的食物是 :>>>> 鸡腿, 开始吃饭喽 :>>>> 鸡腿

• 编写装饰器来完成为所有表达式形式yield对应生成器的初始化操作

# 定义初始化装饰器
def init(func):
    def wrapper(*args,**kwargs):
        g = func(*args,**kwargs)
        next(g)
        return g
    return wrapper

# 定义生成器 并 使用装饰器初始化
@init
def eater():
    print('开始吃饭 ovo ')
    while True:
        food = yield
        print(f'得到的食物是 :>>>> {food}, 开始吃饭喽 :>>>> {food}')


print("得到生成器对象之前")
# 得到生成器对象
food_eater = eater()
print("得到生成器对象之后")

# 得到生成器对象之前
# 开始吃饭 ovo 
# 得到生成器对象之后

food_eater.send('包子')
# 得到的食物是 :>>>> 包子, 开始吃饭喽 :>>>> 包子

food_eater.send('鸡腿')
# 得到的食物是 :>>>> 鸡腿, 开始吃饭喽 :>>>> 鸡腿

• 表达式形式的yield也可以用于返回多次值

def eater():
    print("开始做饭 ovo")
    food_list = []
    while True:
        food = yield food_list
        food_list.append(food)
        print(f"做饭喽 :>>>> {food_list}")
        
# 得到生成器对象        
food_eater = eater()
next(food_eater)
# 开始做饭 ovo

food_eater.send("包子")
# 做饭喽 :>>>> ['包子']
food_eater.send("鸡腿")
# 做饭喽 :>>>> ['包子', '鸡腿']

【八】yield+next详解

• 若函数体包含yield关键字，再调用函数，并不会执行函数体代码，得到的返回值即生成器对象

def my_range(start,stop,step=1):
    print('start...')
    while start < stop:
        yield start
        start += step
    print('end...')

g = my_range(0,3)
print(g)
# <generator object my_range at 0x00000200CB504430>

• 生成器内置有__iter__和__next__方法

• 所以生成器本身就是一个迭代器

def my_range(start, stop, step=1):
    print('start...')
    while start < stop:
        yield start
        start += step
    print('end...')


g = my_range(0, 3)
print(g)  # <generator object my_range at 0x00000179B0912A40>
print(g.__iter__)  # <method-wrapper '__iter__' of generator object at 0x000002AFE95A8430>
print(g.__next__)  # <method-wrapper '__next__' of generator object at 0x000002AFE95A8430>

# 生成方式一
g_iter = iter(g)
print(g_iter)  # <generator object my_range at 0x00000288EAEE22D0>
# start...
print(next(g_iter))
# 0
print(next(g_iter))
# 1
def my_range(start, stop, step=1):
    print('start...')
    while start < stop:
        yield start
        start += step
    print('end...')


g = my_range(0, 3)
print(g)  # <generator object my_range at 0x00000179B0912A40>
print(g.__iter__)  # <method-wrapper '__iter__' of generator object at 0x000002AFE95A8430>
print(g.__next__)  # <method-wrapper '__next__' of generator object at 0x000002AFE95A8430>

# 生成方式二
print(next(g)) 
# start...
print(next(g))
# 0
print(next(g))
# 1
next原理详解
def my_range(start, stop, step=1):
    print('start...')
    while start < stop:
        yield start
        start += step
    print('end...')


g = my_range(0, 3)
print(g)  # <generator object my_range at 0x00000179B0912A40>
print(g.__iter__)  # <method-wrapper '__iter__' of generator object at 0x000002AFE95A8430>
print(g.__next__)  # <method-wrapper '__next__' of generator object at 0x000002AFE95A8430>


# 触发函数执行直到遇到yield则停止,将yield后的值返回，并在当前位置挂起函数
print(f"第一次 :>>>> {next(g)}")
# start...
# 第一次 :>>>> 0

# 再次调用next(g)，函数从上次暂停的位置继续执行，直到重新遇到yield...
print(f"第二次 :>>>> {next(g)}")
# 第二次 :>>>> 1

# 周而复始...
print(f"第三次 :>>>> {next(g)}")
# 第三次 :>>>> 2
# end...

print(f"第四次 :>>>> {next(g)}")
'''
Traceback (most recent call last):
  File "E:\PythonProjects\生成器.py", line 33, in <module>
    print(f"第四次 :>>>> {next(g)}")
StopIteration
'''

【九】生成器的特点

• 节约内存
• 迭代到下一次的调用时，所使用的参数都是第一次所保留下的
• 即是说，在整个所有函数调用的参数都是第一次所调用时保留的，而不是新创建的

__EOF__

本文作者：Fredette
本文链接：https://www.cnblogs.com/Fredette/p/17909710.html
关于博主：评论和私信会在第一时间回复。或者直接私信我。
版权声明：本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！
声援博主：如果您觉得文章对您有帮助，可以点击文章右下角【推荐】一下。您的鼓励是博主的最大动力！