随笔分类 - 搜索引擎

倒序索引的原理和在全文搜索中的应用

摘要：我们都知道搜索引擎搜索一个词是非常快的，但你有没有想过为什么搜索引擎能够以这么快的速度从数以亿计的网页中找到你想要的内容？一个很重要的原因是，现代的搜索引擎基本上都使用了倒序索引技术。如果不使用倒序索引技术，在每次进行检索时，搜索引擎必须遍历每一个网页，查找网页中是否包含你指定的关键词。这个工作量是... 阅读全文

posted @ 2016-01-19 22:51 Bodi 阅读(7792) 评论(0) 推荐(1) 编辑

[转]中英文停止词表（stopword）

摘要：停止词，是由英文单词:stopword翻译过来的，原来在英语里面会遇到很多a，the，or等使用频率很多的字或词，常为冠词、介词、副词或连词等。如果搜索引擎要将这些词都索引的话，那么几乎每个网站都会被索引，也就是说工作量巨大。可以毫不夸张的说句，只要是个英文网站都会用到a或者是the。那么这些英文的... 阅读全文

posted @ 2016-01-16 23:25 Bodi 阅读(3380) 评论(0) 推荐(0) 编辑