摘要: Iveely Search Engine在经过一个月艰辛的测试之后,0.3.0终于与大家见面了,本次版本的主题是:实时信息检索。 项目及源码下载地址 http://iveelyse.codeplex.com 也许你会怀疑我指的是否是"实时搜索“?我想回答你的是,这是迈向实时搜索的一大步。那么0.3.0到底新增加了哪些东西?0.3.0中更改了爬虫策略,索引策略。 在爬虫方面,我们放弃了以前的完整遍历整个网站,采用广度遍历3000个网页后,然后下次再广度遍历3000个不同的网页且更新以前爬行过得网页,这样可以保证最新的数据可以尽快搜到。索引方面,抛弃了以往的数据结构,采用新的二维表,.. 阅读全文
posted @ 2012-10-15 08:50 Iveely Liu 阅读(2973) 评论(21) 推荐(7) 编辑