Python中使用yield实现迭代器

遇到复杂数据处理逻辑，想到可以使用Python的yield迭代器可以优雅地实现，切实体验到了迭代器的好处，多数情况下，代码不够优雅，特别是多层循环嵌套的，都可以常使用迭代器重构。

1，减少内存的占用，正如yield的经典用途，不必把所需的数据一次性生成到内存中，可以分批生成
2，明确函数职责，代码更优雅，可以遍历“迭代器函数”后进行逻辑处理，而不是原函数内部做逻辑处理

# 迭代器返回部分结果
def get_data_from_mysql(batch_size):
    target_conn = {'host': '***.***.***.***', 'database': 'db01', 'port': 8000, 'user': 'root', 'password': '***'}
    var_list = []
    with pymysql.connect(**target_conn) as conn:
        with conn.cursor() as cursor:
            cursor.execute("SELECT * FROM test_table LIMIT 100;")
            for row in cursor:
                var_list.append(row)
                if len(var_list) == batch_size:
                    yield var_list
                    var_list.clear()


# 遍历迭代器进行逻辑处理
def do_business_process():
    var_batch_size = 10
    for var_list in get_data_from_mysql(var_batch_size):
        print(var_list)
        print('do something complicated business for var list')


if __name__ == "__main__":
    do_business_process()

'''
1，减少内存的占用，正如yield的经典用途，不必把所需的数据一次性生成到内存中，可以分批生成
2，明确函数代码职责，代码更优雅，可以遍历“迭代器函数”后进行逻辑处理，而不是遍历函数的同时做逻辑处理
'''