2015年5月20日
《自己动手写网络爬虫》读书笔记——队列与集合
摘要： 队列： 在爬虫程序中, 用到了广度优先搜索(BFS)算法. 这个算法用到的数据结构就是队列。 在python中提供了collection.deque用来实现了queue的相关操作，其官方实力如下： 集合： 在爬虫程序中, 为了不重复爬那些已经爬过的网站, 我们需要把爬过的页面的url放进... 阅读全文
posted @ 2015-05-20 23:26 边军一小兵 阅读(247) 评论(0) 推荐(0) 编辑