python基础—迭代器、生成器
python基础—迭代器、生成器
1 迭代器定义
迭代的意思是重复做一些事很多次，就像在循环中做的那样。
只要该对象可以实现__iter__方法，就可以进行迭代。
迭代对象调用__iter__方法会返回一个迭代器，所谓的迭代器就是具有next方法的对象。（在调用next方法时不需要任何参数）。在调用next方法时，迭代器会返回它的下一个值。如果next方法被调用，但迭代器没有值可以返回，就会引发一个StopITeration异常。
一个实现了__iter__方法的对象是可迭代的，一个实现了next方法的对象是迭代器。
迭代器也有__iter__方法。
2 迭代器特性
优点：
1 迭代器提供了一种不依赖索引的取值方式，这样就可以遍历那些没有索引的可迭代对象了（字典，集合，文件）
2 迭代器与列表比较，迭代器是惰性计算的，更节省内存
缺点：
1 无法获取迭代器的长度，使用不如列表索引取值灵活
2 一次性的，只能往后取值，不能倒着取值
迭代规则的关键是？为什么不是使用列表？
1 如果有一个函数，可以一个接一个地计算值，那么在使用时可能是计算一个值时获取一个值，而不是像列表一样获取所有的值。如果有很多值，列表会占用太多的内存。
2 使用迭代器更通用，更简单，更优雅
3 迭代器代码
(1)索引方式循环
l=['a','b','c','d']
i=0
while i<len(l):
print(l[i])
i+=1
for i in range(len(l)):
print(l[i])
(2)只要被内置了__iter__方法就是可迭代对象
可迭代的：只要对象本身有__iter__方法，那他就是可迭代的
l=['a','b','c','d'] l.__iter__() #相当于iter(l) iter(l) i=iter(l)
i 就是迭代器，i 就是列表l的迭代器
(3)迭代器的__next__方法
迭代器使用__next__方法，可以不依赖下标取值，超出字典长度会有结束报错。
调用__next__方法必须是迭代器，也只有迭代器才有__next__方法。
l=['a','b','c','d'] i=iter(l) print(i.__next__()) print(i.__next__()) print(i.__next__()) print(i.__next__()) print(i.__next__())
输出结果：
a b c d StopIteration #报错
(4)while循环与迭代器
d={'a':1,'b':2,'c':3,'d':4}
i=iter(d)
while True:
try:
print(next(i))
except StopIteration:
break
输出结果：
b c a d
(5)for循环与迭代器
在这里for就是使用可迭代对象的__iter__方法返回此可迭代对象的迭代器，并且执行此迭代器的next方法，并且出现StopITeration报错就结束
For循环与列表
d={'a':1,'b':2,'c':3,'d':4}
for i in d:
print(i)
For循环与文件
with open('a.txt','r') as f:
for line in f:
print(line.strip())
(6)迭代器也有__iter__方法
f 的迭代器也有__iter__方法，并且指向f这个迭代器本身
(7)迭代器是一次性的
只能往后取值，不能倒着取值
可迭代对象不是一次性的。
d={'a':1,'b':2,'c':3,'d':4}
i=iter(d)
print(next(i))
print(next(i))
print(next(i))
print(next(i))
for x in i: #迭代器i已经将上面的值取完，for循环在这里没有值可取
print(x)
输出结果：
d a b c
(8)isinstance判断对象是否是可迭代对象和迭代器对象
Isinstance使用例子:
print(type('ssssss') is str)
print(isinstance("ssssss",str))
输出结果：
True True
用isinstance判断是不是可迭代对象与迭代器对象
#查看可迭代对象和迭代器对象
from collections import Iterable,Iterator
str1='hello'
list1=[1,2,3]
tuple1=(1,2,3)
dict1={"a":1,"b":2,"c":3}
set1={1,2,3,4}
f1=open('a.txt')
#都是可迭代的
str1.__iter__()
list1.__iter__()
tuple1.__iter__()
dict1.__iter__()
set1.__iter__()
f1.__iter__()
print(isinstance(str1,Iterable)) #True
print(isinstance(list1,Iterable)) #True
print(isinstance(tuple1,Iterable)) #True
print(isinstance(dict1,Iterable)) #True
print(isinstance(set1,Iterable)) #True
print(isinstance(f1,Iterable)) #True
#查看是否是迭代器
print(isinstance(str1,Iterator)) #False
print(isinstance(list1,Iterator)) #Flase
print(isinstance(tuple1,Iterator)) #Flase
print(isinstance(dict1,Iterator)) #Flase
print(isinstance(set1,Iterator)) #Flase
print(isinstance(f1,Iterator)) #Flase
4、生成器
4.1 生成器函数定义
生成器就是一个函数，这个函数内包含有yield这个关键字
返回一个生成器对象。生成器本质就是迭代器
生成器是一个包含yield关键字的函数。当它被调用时，在函数体中的代码不会被执行，而会返回一个迭代器。每次请求一个值，就会请求生成器中的代码，直到遇到一个yield或者return语句。Yield语句意味着生成一个值。Return语句意味着生成器要停止执行。
生成器是由两部分组成的：生成器的函数和生成器的迭代器。生成器的函数是有def语句定义的，包含yield部分。生成器的迭代器是这个函数返回的部分。生成器函数返回的迭代器可以像其他迭代器那样使用。
4.2 yield作用
生成器与return有何区别？
Return只能返回一次函数就彻底结束了，而yield返回多次值
yield到底干了什么事情？
1 yield把函数变成生成器-,生成器实质就是迭代器。 相当于把__iter__和__next__方法封装到函数内部。
2 用return返回值能返回一次，而yield返回多次
3 函数在暂停以及继续下一次运行时的状态是由yield保存
任何包含yield语句的函数称为生成器。Yield不是像return那样返回值，而是每次产生多个值。生成器每次产生一个值（使用yield语句），函数就会被冻结：即函数停在那点等待被重新唤醒。函数被重新唤醒之后就从停止的那点开始。
4.3 生成器运行详解
Test函数中yield返回给g一个生成器，实质就是迭代器，通过next方法取值，并且在取值时会执行test函数和取yield的返回值。即next函数会触发生成器函数g的运行，遇到yield停止
from collections import Iterable,Iterator
def test():
print("first")
yield 1
g=test()
print(g)
print(next(g))
print(isinstance(g,Iterable))
print(isinstance(g,Iterator))
输出结果：
<generator object test at 0x000000E8CBDE5360> first 1 True True
def test():
print("one")
yield 1
print("two")
yield 2
print("three")
yield 3
g=test()
res=next(g)
print(res)
res=next(g)
print(res)
res=next(g)
print(res)
res=next(g)
print(res)
输出结果：
one 1 two 2 three 3 StopIteration #报错
def test():
print("one")
yield 1
print("two")
yield 2
print("three")
yield 3
g=test()
for i in g:
print(i)
输出结果：
one 1 two 2 three 3
一个yield可以返回多个值，接收的类型是元组
yield可以返会任何类型的值
def test():
yield 1,2,3,4
g=test()
print(next(g))
输出结果：
(1,2,3,4)
生成器与return有何区别？
Return只能返回一次函数就彻底结束了，而yield返回多次值
yield到底干了什么事情？
1 yield把函数变成生成器--->迭代器
2 用return返回值能返回一次，而yield返回多次
3 函数在暂停以及继续下一次运行时的状态是由yield保存
例子：
def countdown(n):
print("start countnum")
while n>0:
yield n
n-=1
print('done')
g=countdown(5)
print(next(g))
print(next(g))
print(next(g))
print(next(g))
print(next(g))
try:
print(next(g)) #这一次next函数应用没有yield返回，会报错StopIteration，需要try检测
except StopIteration:
pass
g=countdown(5)
print(next(g))
for i in g: #for会将g变成迭代器：iter(g)，执行next取值，并捕捉next出现的异常
print(i)
输出结果：
start countnum 5 4 3 2 1 done start countnum 5 4 3 2 1 done
4.4 用生成器模拟管道
tailf命令的实现
1 普通函数实现
#/usr/bin/env python
import time
def tail(file_path):
with open(file_path,'r') as f:
f.seek(0,2)
while True:
line=f.readline()
if not line:
time.sleep(0.3)
continue
else:
print(line,end="")
tail("/tmp/a.txt")
2 生成器函数实现
#/usr/bin/env python
import time
def tail(file_path):
with open(file_path,'r') as f:
f.seek(0,2)
while True:
line=f.readline()
if not line:
time.sleep(0.3)
continue
else:
yield line
g=tail("/tmp/a.txt")
print(g)
for line in g:
print(line)
tail -f |grep “error” 实现
#/usr/bin/env python
import time
#定义阶段：定义两个生成器函数
def tail(file_path):
with open(file_path,'r') as f:
f.seek(0,2)
while True:
line=f.readline()
if not line:
time.sleep(0.3)
continue
else:
yield line
def grep(pattern,lines):
for line in lines:
if pattern in line:
yield line
#调用阶段：得到两生成器对象
g=tail("/tmp/a.txt")
gg=grep("error",g)
#next触发执行gg生成器函数
for line in gg:
print(line)
1 迭代器的应用
文件名：a.txt 文件内容如下：
apple 10 3
tesla 100000 1
mac 3000 2
lenovo 30000 3
chicken 10 3
实现功能：cat a.txt|grep apple
要求1：定义迭代器函数cat
要求2：定义迭代器函数grep
要求3：模拟管道的功能，将cat的处理结果作为grep的输入
def cat(file_auth):
with open(file_auth,"r") as f:
f.seek(0)
for line in f:
yield line
def grep(pattern,lines):
for line in lines:
if pattern in line:
yield line
cat_func=cat("/tmp/a.txt")
grep_func=grep("apple",cat_func)
for line in grep_func:
print(line)
5、协程函数
5.1 协程函数定义
如果在一个函数内部yield的使用方式是表达式形式的话，如x=yield，那么该函数成为协程函数。
yield是表达式方式使用，则必须用send方法进行传值。
协程函数=生成器+yield表达式+send方法
5.2 e.send与next(e)的区别
e.send与next(e)的区别
1 如果函数内yield是表达式形式，那么必须先next(e)
使用send方法只有在生成器挂起之后才有意义（也就是在yield函数第一次被执行之后），因此要用send方式时需要用next方法初始化生成器。
用next(e)初始化 相当于 e.send(None) ，可以用装饰器解决初始化问题
2 二者的共同之处是都可以让函数在上次暂停的位置继续运行，不一样的地方在于send在触发下一次代码的执行时，会顺便给yield传一个值。
end可以传多个值，但是必须是元组类型
5.3协程函数举例
def eater(name):
print("%s start to eat food"%name)
while True:
food=yield
print("%s get %s,to start eat"%(name,food))
print("done")
e=eater("people")
print(e)
next(e)
e.send("apple")
e.send("fruit")
e.send("beef")
e.send("meet")
输出结果：
<generator object eater at 0x000000F944583D00> people start to eat food people get apple,to start eat people get fruit,to start eat people get beef,to start eat people get meet,to start eat
def eater(name):
print("%s start to eat food"%name)
food_list=[]
while True:
food=yield food_list
print("%s get %s,to start eat"%(name,food))
food_list.append(food)
print("done")
e=eater("people")
print(e)
next(e)
print(e.send("apple"))
print(e.send("fruit"))
print(e.send("beef"))
print(e.send("meet"))
输出结果：
<generator object eater at 0x0000006F92D83D00> people start to eat food people get apple,to start eat ['apple'] people get fruit,to start eat ['apple', 'fruit'] people get beef,to start eat ['apple', 'fruit', 'beef'] people get meet,to start eat ['apple', 'fruit', 'beef', 'meet']
2 生成器的应用
把下述函数改成生成器的形式，执行生成器函数的到一个生成器g，
然后g.send(url),打印页面的内容，利用g可以无限send
from urllib.request import urlopen
def get(url):
while True:
def index():
print(url)
print(urlopen(url).read())
url=yield index
g=get("http://www.baidu.com")
next(g)
baidu=g.send("http://www.baidu.com")
baidu()
5.4 协程函数用装饰器初始化
协程函数使用装饰器完成初始化
def auth(func):
def wrapper(*args,**kwargs):
res=func(*args,**kwargs)
next(res)
return res
return wrapper
@auth
def eater(name):
print("%s start to eat food"%name)
food_list=[]
while True:
food=yield food_list
print("%s get %s,to start eat"%(name,food))
food_list.append(food)
print("done")
e=eater("people")
e.send("123")
