Python3 yield使用总结

最近开始学习爬虫框架Scrapy,看大牛写的博客时,发现有段代码不知道如何理解,对,就是它:关键字yield该怎么理解?

在详细查询了文档说明后,得出以下结论:

一个带有 yield 的函数就是一个 generator,它和普通函数不同,生成一个 generator 看起来像函数调用,但不会执行任何函数代码,直到对其调用 next()(在 for 循环中会自动调用 next())才开始执行。虽然执行流程仍按函数的流程执行,但每执行到一个 yield 语句就会中断,并返回一个迭代值,下次执行时从 yield 的下一个语句继续执行。看起来就好像一个函数在正常执行的过程中被 yield 中断了数次,每次中断都会通过 yield 返回当前的迭代值。

yield 的好处是显而易见的,把一个函数改写为一个 generator 就获得了迭代能力,比起用类的实例保存状态来计算下一个 next() 的值,不仅代码简洁,而且执行流程异常清晰。

用下面的一段代码就非常好理解了。

若用next()分开执行代码(python2用next(),python3用__next__()),

当函数执行结束时,generator 自动抛出 StopIteration 异常,表示迭代完成。在 for 循环里,无需处理 StopIteration 异常,循环会正常结束。

 所以优点就是利用迭代,减少内存消耗,代码更简洁;

return返回值,在第一次调用函数,yield返回迭代对象;

在一个 generator function 中,如果没有 return,则默认执行至函数完毕,如果在执行过程中 return,则直接抛出 StopIteration 终止迭代。

 

最后,还看到有人用yield 做文件读取。如果直接对文件对象调用 read() 方法,会导致不可预测的内存占用。好的方法是利用固定长度的缓冲区来不断读取文件内容。通过 yield,不再需要编写读文件的迭代类,就可以轻松实现文件读取

 

 
 
标签: python爬虫
posted @ 2019-01-30 21:23  SKING_Python  阅读(9207)  评论(2编辑  收藏  举报