1 Iterator Protocol - Python 描述符协议
2
3 先看几个有关概念,
4 iterator 迭代器,
5 一个实现了无参数的 __next__ 方法, 并返回 '序列'中下一个元素,在没有更多的元素可返回的时候 raises StopIteration 的对象,
6 被称为 iterator(迭代器).
7 在 python 中, 迭代器 'iterator' 同时也实现了 __iter__ 方法, 故 iterators are iterable.
8 经典迭代器 'classic iterators' 从一个集合'collection'中返回元素.
9 生成器 'generator' 也是迭代器, 但可能灵活些, 请参考 generator 一文。
10 例,
11 >>> A = iter('Ads')
12 >>> A
13 <iterator object at 0x00000000036D7320>
14 >>> type(A)
15 <type 'iterator'>
16 >>> dir(A)
17 ['__class__', ... ..., '__iter__', ... ..., 'next']
18 >>> A.next()
19 'A'
20 >>> A.next()
21 'd'
22 >>> A.next()
23 's'
24 >>> A.next()
25 Traceback (most recent call last):
26 File "<input>", line 1, in <module>
27 StopIteration
28
29 iterator
30 Any object that implements the __next__
31 no-argument method which returns the
32 next item in a series, or raises StopItera
33 tion when there are no more items. Python
34 iterators also implement the __iter__
35 method so they are also iterable. Classic
36 iterators, according to the original design
37 pattern, return items from a collection. A
38 generator is also an iterator, but it’s more
39 flexible. See generator
40
41 iterable 可迭代,
42 一个对象，如果该对象可以通过内置方法 'iter' 获得可以个 'iterator',则称该对象是可迭代对象 'iterable'
43 如,
44 >>> A = iter('ABCCcvsds')
45 >>> A
46 <iterator object at 0x00000000036D7320>
47 >>> type(A)
48 <type 'iterator'>
49
50 一个可迭代对象 'iterable object' 可以用于 循环'loops', 列表推导'comprehensions', 元祖拆包'tuple unpacking'.
51 实现了 __iter__ 方法, 返回迭代器'iterator'的对象是可迭代的对象'iterable'. 序列'sequences' 是可迭代对象.
52 实现了 __getitem__ 方法的对象也有可能是可迭代对象.
53
54 iterable
55 Any object from which the iter built-in
56 function can obtain an iterator. An iterable
57 object works as the source of items in for
58 loops, comprehensions and tuple unpack‐
59 ing. Objects implementing an __iter__
60 method returning an iterator are iterable.
61 Sequences are always iterable; other objects
62 implementing a __getitem__ method may
63 also be iterable.
64
65 iterable unpacking 可迭代对象拆包
66 与元祖拆白 'tuple unpacking' 同义. 应用于 'parallel assignment'.
67 例,
68 >>> a = (1,2)
69 >>> b,c = a
70 >>> a
71 (1, 2)
72 >>> b
73 1
74 >>> c
75 2
76 >>> c,b = b,c
77 >>> a
78 (1, 2)
79 >>> b
80 2
81 >>> c
82 1
83
84 parallel assignment
85 Assigning to several variables from items in
86 an iterable, using syntax like a, b = [c,
87 d] — also known as destructuring assign‐
88 ment. This is a common application of tuple
89 unpacking.
90
91 进一步了解一下儿迭代器对象 'Iterator Objects' 和 'Iterator Protocol',
92 Iterator Objects
93 python 中有两种 迭代器对象 'iterator objects'.
94
95 一种是 序列迭代器 'sequence iterator', 用于对'序列对象' __getitem__ 方法的支持.
96
97 另一种是,上例子中常见的迭代器: 一个可调用对象'callable object', 在其上调用 next()
98 方法, 依次放回序列中的元素, 迭代结束的时候返回 StopIteration error(sentinel value).
99
100 迭代器相关源码,
101 与'第一种'迭代器相关,
102 PyTypeObject PySeqIter_Type
103 python 类型对象-'PySeqIter_Type' 为迭代器对象的'类型对象', 由 PySeqIter_New() 函数产生.
104 也是通过 iter(iterable) 内建函数所得到'序列'的类型对象.
105
106 int PySeqIter_Check(op)
107 当 op 是 PySeqIter_Type 类型的时候, 函数返回 true
108
109 PyObject* PySeqIter_New(PyObject *seq)
110 创建一个迭代器对象, 迭代结束后 raises IndexError
111
112 与'另一种'迭代器相关,
113 PyTypeObject PyCallIter_Type
114 由 PyCallIter_New() 创建的可'指定' sentinel value 的迭代器的类型对象. iter(callable, sentinel value)
115
116 int PyCallIter_Check(op)
117 当 op 是 PyCallIter_Type 类型的时候, 函数返回 true
118
119 PyObject* PyCallIter_New(PyObject *callable, PyObject *sentinel)
120 创建一个迭代器对象, 迭代返回 sentinel value 结束, 并 raises IndexError
121 第一个参数是任何 python callable 的对象.
122
123 例子,
124 第一种'迭代器
125 >>> abc = [1,2,3,"S",4,5]
126 >>> a = iter(abc)
127 >>> a
128 <listiterator object at 0x00000000037E0668>
129 >>> a.next()
130 1
131 >> a.next()
132 2
133 >>> a.next()
134 3
135 >>> a.next()
136 'S'
137 >>> a.next()
138 4
139 >>> a.next() # 当迭代器中没有新的数据的时候 StopIteration
140 Traceback (most recent call last):
141 File "<input>", line 1, in <module>
142 StopIteration
143 >>> a # StopIteration 后迭代器对象还存在
144 <listiterator object at 0x00000000037E0668>
145 >>> a.next() # 迭代器返回最后一个数据后，如果想再获取其中的元素, 需要再次生成新的迭代器对象
146 Traceback (most recent call last):
147 File "<input>", line 1, in <module>
148 StopIteration
149
150 另外一种'迭代器
151 >>> b = iter(abc.pop, "S") # abc.pop 是一个 callable 的对象, 指定 StopIteration 的值'S'
152 >>> b
153 <callable-iterator object at 0x00000000037E0668>
154 >>> b.next()
155 4
156 >>> b.next() # next 方法得到元素 'S', raises StopIteration
157 Traceback (most recent call last):
158 File "<input>", line 1, in <module>
159 StopIteration
160
161 Iterator Protocol
162 python 在 C 层面有2个函数跟 迭代器 'iterator' 相关,
163
164 int PyIter_Check(PyObject *o)
165 如果 对象 o 支持 迭代器协议 interator protocol 返回 true.
166
167 PyObject* PyIter_Next(PyObject *o)
168 返回迭代 'iteration' 的下一个元素.
169 o 必须是一个迭代器(*** 注意,该函数本身并不对这一点做验证; 有使用者保证传入的是 iterator),
170 如果没有可以返回的元素, 返回 return NULL (没有exception 描述);
171 如果在获取元素的时候发生了任何的错误 errors, 返回 return NULL 即相应的 exception 描述.
172
173 python 官方示例,
174 PyObject *iterator = PyObject_GetIter(obj);
175 PyObject *item;
176
177 if (iterator == NULL) {
178 /* propagate error */
179 }
180
181 while (item = PyIter_Next(iterator)) {
182 /* do something with item */
183 ...
184 /* release reference when done */
185 Py_DECREF(item);
186 }
187
188 Py_DECREF(iterator);
189
190 if (PyErr_Occurred()) {
191 /* propagate error */
192 }
193 else {
194 /* continue doing useful work */
195 }
iterator 应用的经典示例,
with open('mydata.txt') as fp:
for line in iter(fp.readline, ''):
process_line(line)
