python迭代器模块itertools常用方法

itertools是python中内置的一种高效的生成各种迭代器或者是类的模块,这些函数的返回值为一个迭代器,经常被用在for循环中,当然,也可直接使用next()方法取值,今天就来说说itertools中的常用方法.

itertools按照迭代器的功能可分为三类:

  • 无限迭代器: 生成一个无限序列，比如自然数序列 1, 2, 3, 4, …
  • 有限迭代器: 接收一个或多个序列（sequence）作为参数，进行组合、分组和过滤等；
  • 组合迭代器: 序列的排列、组合，求序列的笛卡儿积等

无限迭代器

itertools.count(start=0, step=1)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
 
itertools.count(start=0, step=1)
#创建一个迭代器，生成从n开始的连续整数，如果忽略n，则从0开始计算（注意：此迭代器不支持长整数）,如果超出了sys.maxint，计数器将溢出并继续从-sys.maxint-1开始计算
#start: 起始值,默认为0，
#step: 步长,默认为1

import itertools
a = itertools.count()
for x in a:
    if x > 5:
        break
    print(x)
#输出:
1
2
3
4
5
6

b = itertools.count(2,3)
for x in b:
    if x > 10:
        break
    print(x)
#输出
2
5
8

itertools.cycle(iterable)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
itertools.cycle(iterable)
#创建一个迭代器，对iterable中的元素反复执行循环操作，内部会生成iterable中的元素的一个副本，此副本用于返回循环中的重复项
#iterable: 可迭代对象,可以为一个列表、字符串、元组等

import itertools
a = ['a','b','c']
i = 0
for x in itertools.cycle(a):
    i = i +1
    if i > 5:
        break
    print(i,x)
    
#输出
1,'a'
2,'b'
3,'c'
4,'a'
5,'b'

itertools.repeat(object[, times])

1
2
3
4
5
6
7
8
9
10
11
12
13
 
itertools.repeat(object[, times])
#创建一个迭代器，重复生成object，times（如果已提供）指定重复计数，如果未提供times，将无止尽返回该对象
#object: 需要重复的对象，对象是个整体
#times: 重复次数

import itertools
for x in itertools.repeat([1,2,3],3):
    print(x)
    
#输出
[1,2,3]
[1,2,3]
[1,2,3]

有限迭代器

itertools.chain(iterable1, iterable2, …)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
 
itertools.chain(iterable1, iterable2, ...)
#将多个迭代器作为参数, 但只返回单个迭代器, 它产生所有参数迭代器的内容, 就好像他们是来自于一个单一的序列
#参数为多个可迭代对象,就好像被链条衔接起来了一样

import itertools
for x in itertools.chain([1,2,3],'abc'):
    print(x)

#输出
1
2
3
'a'
'b'
'c'

for x in itertools.chain([1,2,3],['a','b','c']):
    print(x)
#输出
1
2
3
'a'
'b'
'c'

itertools.chain.from_iterable(iterable)

1
2
3
4
5
6
7
8
9
10
11
12
 
itertools.chain.from_iterable(iterable)
#接收一个可迭代对象作为参数，返回一个迭代器

from itertools import chain
a = [['first','second','thrid'],['a','b','c']]
b = [[1,2,3],[4,5,6]]
for x in range(len(a)):
    list(chain.from_iterable(zip(a[x],b[x])))

#输出
['first', 1, 'second', 2, 'thrid', 3]
['a', 4, 'b', 5, 'c', 6]

itertools.compress(data, selectors)

1
2
3
4
5
6
7
8
9
10
11
12
13
 
itertools.compress(data, selectors)
#可用于对数据进行筛选，当 selectors 的某个元素为 true 时，则保留 data 对应位置的元素，否则去除
#data: 待筛选数据
#selectors: 当为真时,保留data对应位的数据,为假或为空时则去除

from itertools import compress
for x in compress(['a','b','c','d'],[1,0,2]):
    print(x)
    
#输出
'a'
'c'
# 2 也为真,'d'对应值为空算假

itertools.dropwhile(predicate, iterable)

1
2
3
4
5
6
7
8
9
10
 
itertools.dropwhile(predicate, iterable)
#创建一个迭代器，只要函数predicate(item)为True，就丢弃iterable中的项，如果predicate返回False，就会生成iterable中的项和所有后续项,即第一个不满足条件的项及它后面所有的项都返回
#predicate: 函数
#iterable: 可迭代对象

from itertools import dropwhile
list(dropwhile(lambda x: x < 5, [1, 3, 6, 2, 1]))
#输出:
[6,2,1]
#从6开始不符合x < 5 条件,所以6及6后面所有的项都需要返回

itertools.takewhile(predicate, iterable)

1
2
3
4
5
6
7
 
itertools.takewhile(predicate, iterable)
#创建一个迭代器，如果predicate返回False,立即停止迭代

from itertools import takewhile
list(takewhile(lambda x: x < 5, [1, 3, 6, 2, 1]))
#输出
[1,3]

itertools.ifilter(predicate, iterable)

1
2
3
4
5
6
7
8
9
 
itertools.ifilter(predicate, iterable)
#创建一个迭代器，仅生成iterable中predicate(item)为True的项，如果predicate为None，将返回iterable中所有计算为True的项
#predicate: 函数
#iterable: 可迭代对象

from itertools import ifilter
list(ifilter(lambda x: x < 5, [1, 3, 6, 2, 1]))
#输出:
[1,3,2,1]

itertools.ifilterfalse(predicate, iterable)

1
2
3
4
5
6
7
8
9
 
itertools.ifilterfalse(predicate, iterable)
#创建一个迭代器，仅生成iterable中predicate(item)为False的项，如果predicate为None，将返回iterable中所有计算False的项,该函数正好跟ifilter相反
#predicate: 函数
#iterable: 可迭代对象

from itertools import ifilterfalse
list(ifilterfalse(lambda x: x < 5, [1, 3, 6, 2, 1]))
#输出:
[6]

itertools.groupby(iterable[, key])

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
itertools.groupby(iterable[, key])
#返回一个产生按照key进行分组后的值集合的迭代器
#iterable:可迭代对象
#key: 一个函数,该函数的返回值做为分组的标准

from itertools import groupby
a = ['aa', 'ab', 'abc', 'bcd', 'abcde']
for i, k in groupby(a, len):
     print (i, list(k))

#输出
2,['aa', 'ab']
3,['abc', 'bcd']
5,['abcde']

itertools.islice(iterable, stop)

1
2
3
4
5
6
7
8
9
10
11
12
 
itertools.islice(iterable,[start], stop,[step])
#iterable 是可迭代对象，start 是开始索引,默认为0，stop 是结束索引，step 是步长，默认为1，start 和 step 可选

from itertools import islice,count
list(islice([10, 6, 2, 8, 1, 3, 9], 5))
#输出
[[10, 6, 2, 8, 1]
 
list(islice(count(), 3, 10 ,2))
 #输出
 [3,5,7,9]
 #这里的count()为文章第一个函数,用来产生无限序列

itertools.imap(func, iter1, iter2, iter3, …)

1
2
3
4
5
6
7
8
9
 
imap(func, iter1, iter2, iter3, ...)
#返回一个迭代器, 它是调用了一个其值在输入迭代器上的函数, 返回结果. 它类似于内置函数 map() , 只是前者在任意输入迭代器结束后就停止(而不是插入None值来补全所有的输入)
#注意: 该函数在python3.x中已不存在,可直接使用map

from itertools import imap
list(imap(pow, [2, 3, 10], [4, 2, 3]))
#输出
[16, 9, 1000]
#pow函数 求指数

itertools.izip(*iterables)

1
2
3
4
5
6
7
8
9
10
11
12
 
itertools.izip(*iterables)
#用于将多个可迭代对象对应位置的元素作为一个元组，将所有元组『组成』一个迭代器，并返回
#注意: 该函数在python3.x中已不存在,可直接使用zip

from itertools import izip
for item in izip([1, 2, 3], ['a', 'b', 'c', 'd', 'e']):
    print(item)
    
#输出
(1, 'a')
(2, 'b')
(3, 'c')

itertools.izip_longest(*iterables, [fillvalue=None])

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
itertools.izip_longest(*iterables,[fillvalue=None])
#izip_longest 跟 izip 类似，但迭代过程会持续到所有可迭代对象的元素都被迭代完
#注意: 该函数在python3.x中已不存在

from itertools import izip_longest
for item in izip_longest([1, 2, 3], ['a', 'b', 'c', 'd', 'e'],fillvalue='-'):
    print(item)
    
#输出
(1, 'a')
(2, 'b')
(3, 'c')
('-','d')
('-','e')

组合迭代器

itertools.product(*iterables[, repeat])

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
 
itertools.product(*iterables[, repeat])
#创建一个迭代器，生成表示item1，item2等中的项目的笛卡尔积的元组，repeat是一个关键字参数，指定重复生成序列的次数。
# 用来产生笛卡尔积

import itertools
a = (1, 2, 3)
b = ('A', 'B', 'C')
c = itertools.product(a,b)
for elem in c:
    print(elem)

#输出    
(1, 'A')
(1, 'B')
(1, 'C')
(2, 'A')
(2, 'B')
(2, 'C')
(3, 'A')
(3, 'B')
(3, 'C')

list(product((0,1), (0,1), (0,1)))
#输出
[(0, 0, 0), (0, 0, 1), (0, 1, 0), (0, 1, 1), (1, 0, 0), (1, 0, 1), (1, 1, 0), (1, 1, 1)]

list(product('ABC', repeat=2))
#输出
[('A', 'A'), ('A', 'B'), ('A', 'C'), ('B', 'A'), ('B', 'B'), ('B', 'C'), ('C', 'A'), ('C', 'B'), ('C', 'C')]

itertools.product的简单使用：

from itertools import product  # 迭代器

# test script
for i j in product(range(10),range(10))
    
print(i,j)

# 同理等于两个for循环嵌套,只是这种写法远行速度遍历会快一些，时间复杂度减小。

for x in range(10):
    for y in range(10):
    print(x,y)

itertools.permutations(iterable[, r])

1
2
3
4
5
6
7
 
itertools.permutations(iterable[, r])
#创建一个迭代器，返回iterable中所有长度为r的项目序列，如果省略了r，那么序列的长度与iterable中的项目数量相同： 返回p中任意取r个元素做排列的元组的迭代器

from itertools import permutations
list(permutations('ABC', 2))
#输出
[('A', 'B'), ('A', 'C'), ('B', 'A'), ('B', 'C'), ('C', 'A'), ('C', 'B')]

itertools.combinations(iterable, r)

1
2
3
4
5
6
7
 
itertools.combinations(iterable, r)
#创建一个迭代器，返回iterable中所有长度为r的子序列，返回的子序列中的项按输入iterable中的顺序排序 (不带重复)

from itertools import combinations
list(combinations('ABC', 2))
#输出
[('A', 'B'), ('A', 'C'), ('B', 'C')]

itertools.combinations_with_replacement(iterable, r)

1
2
3
4
5
6
7
 
itertools.combinations_with_replacement(iterable, r)
#创建一个迭代器，返回iterable中所有长度为r的子序列，返回的子序列中的项按输入iterable中的顺序排序 (带重复)

from itertools import combinations_with_replacement
list(combinations_with_replacement('ABC', 2))
#输出
[('A', 'A'), ('A', 'B'), ('A', 'C'), ('B', 'B'), ('B', 'C'), ('C', 'C')]
posted @ 2020-07-19 10:44  游走De提莫  阅读(702)  评论(0)  编辑  收藏  举报