摘要:
手里上有一批链接,需要检查他们是否已经被删除。本来是想用多线程的,但是考虑了下一个是实现起来稍繁琐。而且性能不理想,单机基本超过10线程基本上就没有太多增益了。 所以考虑了下,还是决定用异步IO。 在使用grequest之前用的是aiohttp来处理的,但是这个库蛋疼的时,每个延时请求前都要添加aw 阅读全文
摘要:
Python设计模式: 最佳的"策略"模式实践代码 今天抽空看了下 流畅的python ,发现里面介绍了不少python自带的库的使用实例,用起来非常的优雅。 平时用Python来写爬虫比较多,所以最近一直在看设计模式的内容。刚好这本书里面有一章单独讲设计模式的,讲的还不错,特意摘录出来。 这段代码 阅读全文