python——迭代和解析2
最近又看到了迭代和解析的知识点,今天做一次更新吧,把迭代和解析讲完。
关于扩展生成器函数协议:send和next 我没有看懂,也没有看到用的意义,这里就不讲了,如果以后发现了,会再上一讲补充。
4.2 生成器表达式:迭代器遇到列表解析
a = [x ** 2 for x in range(4)] # 这个是列表解析:build a list b = (x ** 2 for x in range(4)) # 这个是生成器表达式(generator expression):make a iterable
从语法上讲,生成器表达式就像一般的解析列表一样,一个是方括号,一个是圆括号。但生成器表达式大体上可以认为是对内存空间的优化,它们不需要像列表解析一样,一次构造出整个结果列表。
其实将生成器表达式转化为列表解析的方法,只需要使用List,强迫生成器表达式一次生成列表中所有的结果 即:a == list(b)
4.3 生成器是单迭代器对象
一个生成器的迭代器是生成器本身。即在生成器上调用iter没有任何效果。生成器只能是一个单迭代对象,不能是多个迭代对象。即一旦任何迭代器运行到完成,所有的迭代器都将用尽,我们必须产生一个新的迭代器以再次开始。
G=(a for a in range(10)) print(list(G)) # [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] print(list(G)) # []
注:这里必须使用list(G),不能用[G] 否则会返回一个地址给你。
5.基于类的迭代器
类的常见运算符重载方法中,和迭代有关的有__getitem__,__setitem__,__iter__和__next__
但在Python中所有的迭代环境会先尝试__iter__方法,再尝试__getitem__。因此这里重点讲__iter__和__next__
5.1 用户定义的迭代器
在__iter__机制中,类就是通过实现迭代器协议来实现用户定义的迭代器的。例如,定义了用户定义的迭代器类来生成平方值。在这里,迭代器对象就是实例self(__iter__的写法一般固定,有时候如pytorch的dataloader有所不同),因为next方法是这个类的一部分。
class Squares: def __init__(self, start, stop): self.value = start -1 self.stop = stop def __iter__(self): return self def __next__(self): if self.value == self.stop: raise StopIteration self.value +=1 return self.value ** 2 for i in Squares(1,5): # for calls this iter, which calls __iter__, means i = Iter(Squares(1,5)) print(i, end=' ') # Each iteration calls __next__, means next(i)->next(i)
注意:这里的__iter__只循环一次,而不是循环多次。例如:
X = squares(1,5) print([n for n in X]) # [1, 4, 9, 16, 25] print([n for n in X]) # []
5.2有多个迭代器的对象
要达到多个迭代器的效果,__iter__只需要迭代器定义新的状态对象,而不是返回self。
class SkipIterator: def __init__(self,skipper): self.wrapped = skipper.wrapped self.offset = 0 def __next__(self): if self.offset >=len(self.wrapped): raise StopIteration else: item = self.wrapped[self.offset] self.offset +=2 return item class SkipObject: def __init__(self,wrapped): self.wrapped = wrapped def __iter__(self): return SkipIterator(self) alpha = 'abcdef' skipper = SkipObject(alpha) I = iter(skipper) print(next(I),next(I),next(I)) # a c e for x in skipper: for y in skipper: print(x+y, end=' ') # aa ac ae ca cc ce ea ec ee
运行时,这个例子工作起来就像是对内置字符串进行嵌套循环一样,因为每个循环都会获得独立的迭代器对象来记录自己的状态信息,所以每个激活状态下的循环都有自己字符串中的位置。
即x和y在SkipObject对象中分别创立了两个SkipIterator迭代器对象。
5.3 Pytorch1.0 datasetloader源码分析
torch的Dataloader类在torch.utils.data.dataloader文件中。如下图所示,显然这个Dataloader和上面的有多个迭代器的对象实现方法相同,有一个_DataLoaderIter类,这里我们重点关注这个类的实现。
class _DataLoaderIter(object): def __init__(self, loader): xxx def __len__(self): return len(self.batch_sampler) def _get_batch(self): xxx def __next__(self): if self.num_workers == 0: # same-process loading indices = next(self.sample_iter) # may raise StopIteration batch = self.collate_fn([self.dataset[i] for i in indices]) if self.pin_memory: batch = pin_memory_batch(batch) return batch # check if the next sample has already been generated if self.rcvd_idx in self.reorder_dict: batch = self.reorder_dict.pop(self.rcvd_idx) return self._process_next_batch(batch) if self.batches_outstanding == 0: self._shutdown_workers() raise StopIteration while True: assert (not self.shutdown and self.batches_outstanding > 0) idx, batch = self._get_batch() self.batches_outstanding -= 1 if idx != self.rcvd_idx: # store out-of-order samples self.reorder_dict[idx] = batch continue return self._process_next_batch(batch) next = __next__ # Python 2 compatibility def __iter__(self): return self def _put_indices(self): xxx def _process_next_batch(self, batch): xxx def __getstate__(self): raise NotImplementedError("_DataLoaderIter cannot be pickled") def _shutdown_workers(self): xxx def __del__(self): # 析构函数,iter对象收回 if self.num_workers > 0: self._shutdown_workers()
如上述具体代码所示,dataloader类的迭代器是类dataloaderIter。先将dataloader的实例化传入dataloaditer类进行实例化,参数名为loader。这里的关注重点是在每次迭代时候调用__next__函数。
我们先分析第一个if 语句self.num_workers == 0的情况:
indices = next(self.sample_iter) # may raise StopIteration batch = self.collate_fn([self.dataset[i] for i in indices]) if self.pin_memory: batch = pin_memory_batch(batch) return batch
这里self.sample_iter是一个迭代器(iterator,注我们知道生成器本身就是迭代器,但是list这些是没有迭代器的)。
# 根据上面的调用,我们可以找到 # self.sample_iter = iter(self.batch_sampler) # batch_sampler = BatchSampler(sampler, batch_size, drop_last) # 而BatchSampler的__iter__代码如下: def __iter__(self): batch = [] for idx in self.sampler: batch.append(idx) if len(batch) == self.batch_size: yield batch batch = [] if len(batch) > 0 and not self.drop_last: yield batch
因此 self.sample_iter 本质是一个生成器。而这里的 self.sampler 是一个打乱idx顺序的list。list的长度是batch_size。即获得一个长度为batch size的列表:indices,
这个列表的每个值表示一个batch中每个数据的index,每执行一次next操作都会读取一批长度为batch size的indices列表。然后通过self.collate_fn函数将batch size个tuple(每个tuple长度为2,其中第一个值是数据,Tensor类型,第二个值是标签,int类型)封装成一个list,这个list长度为2,两个值都是Tensor,一个是batch size个数据组成的FloatTensor,另一个是batch size个标签组成的LongTensor。
batch =self.collate_fn 则是将上面的indices(=next(self.sample_iter))这些分散的tensor合并成一个整体tensor,然后将tensor copy到CUDA中。
如果 self.num_workers 不等于0,这个时候显然是一个多线程程序(假设我们在合理default kernels=8)。直接进入第二个if语句判断当前想要读取的batch的index(self.rcvd_idx)是否之前已经读出来过。
# check if the next sample has already been generated if self.rcvd_idx in self.reorder_dict: batch = self.reorder_dict.pop(self.rcvd_idx) return self._process_next_batch(batch)
而第三个if语句,self.batches_outstanding的值在前面初始中调用self._put_indices()方法时修改了,所以假设你的进程数self.num_workers设置为3,那么这里self.batches_outstanding就是3*2=6,可具体看self._put_indices()方法。
if self.batches_outstanding == 0: self._shutdown_workers() raise StopIteration
最后就是 while循环就是真正用来从队列中读取数据的操作。
最主要的就是idx, batch = self._get_batch(),通过调用_get_batch()方法来读取,后面有介绍,简单讲就是调用了队列的get方法得到下一个batch的数据,得到的batch一般是长度为2的列表,列表的两个值都是Tensor,分别表示数据(是一个batch的)和标签。_get_batch()方法除了返回batch数据外,还得到另一个输出:idx,这个输出表示batch的index,这个if idx != self.rcvd_idx条件语句表示如果你读取到的batch的index不等于当前想要的index:selg,rcvd_idx,那么就将读取到的数据保存在字典self.reorder_dict中:self.reorder_dict[idx] = batch,然后继续读取数据,直到读取到的数据的index等于self.rcvd_idx。
while True: assert (not self.shutdown and self.batches_outstanding > 0) idx, batch = self._get_batch() self.batches_outstanding -= 1 if idx != self.rcvd_idx: # store out-of-order samples self.reorder_dict[idx] = batch continue return self._process_next_batch(batch)
关于torch dataloader的代码解析,我主要是参考的:https://blog.csdn.net/u014380165/article/details/79058479
5.4 tqdm库
Tqdm 是一个快速,可扩展的Python进度条,可以在 Python 长循环中添加一个进度提示信息,用户只需要封装任意可迭代的对象(iteraable object)不是迭代器(iterator)。
一般迭代器(iter)和next联合使用,达到for 的效果,而for中使用的是可迭代对象,而可迭代对象可以通过写入方法__next__和__iter__来创建可迭代类。
while True: try: X = next(iter) except StopIteration: break print(X)
在使用tqdm库的时候,一定要写total 不然不显示进度条,以下就是自己写的一个迭代类,并使用tqdm显示进度条的例子了。
from tqdm import tqdm from time import sleep class IterObj(): def __init__(self,start,stop): self.value = start -1 self.stop = stop def __iter__(self): return self def __next__(self): if self.value == self.stop: raise StopIteration self.value+=1 return self.value ** 2 if __name__ == '__main__': a = IterObj(1,5) b = tqdm(a,total=5) for i in b: sleep(1)