摘要: 经过前面的介绍,我们大致了解了站点压力控制对于爬虫的重要性。但是站点压力控制对于爬虫来说,是一个比较Open的话题。即到目前为止也没有一个很准确的压力控制方法。 主要的问题由于以下几点: 不同站点对于爬虫的压力允许程度不同。 即由于站点的规模不同、站点的服务器配置不同等。不同的站点能承受的压力是不同的。同时不同的站点对于爬虫的友好程度不同。有些站点允许爬虫爬去其数据,而有些站点不希望... 阅读全文
posted @ 2013-07-21 12:51 @且听风吟@ 阅读(698) 评论(0) 推荐(0) 编辑
摘要: 如题 2013-07-21 阅读全文
posted @ 2013-07-21 10:44 @且听风吟@ 阅读(141) 评论(0) 推荐(0) 编辑
摘要: 虽然经常使用c++的stl,set也是经常使用的一个容器,但是发现对于set的理解还是比较浅显。今天使用时无意就撞入了一个坑里。 stl中set和map都是用红黑树实现的。set是key和value相同的结构。 代码如下: 1: #include 2: #include 3: #include 4: #... 阅读全文
posted @ 2013-07-21 08:45 @且听风吟@ 阅读(688) 评论(0) 推荐(0) 编辑