读书笔记《集体智慧编程》Chapter 4 : Searching and Ranking

本章概要

本章介绍了搜索引擎的基本原理，PageRank的基本思想和神经网络在学习用户点击行为，用于提高搜索结果的准确性方面的问题

 

搜索引擎基本原理

搜索引擎的基本框架：爬取网页—>制作索引—>检索查询。虽然只有这三步，熟练的工程师基本上一天就可以搭建一个小型的搜索引擎。但是每一步中可以深入研究的地方太多，涉及到的技术难点太多。本书概要的介绍了上面三个步骤，并用python实现了一个小巧的搜索引擎，关键点是要介绍如何对检索出来的内容进行排序。

 

内容排序

主要介绍了三种方式为搜索结果排序

• 基于页面内容排序：按照检索词的频率，检索词之间的位置，检索词在文本中的距离的标准排序。
• 基于页面之间的关系排序：采用PageRank（PageRank是根据google联合创始人之一的Larry Page命名的，一直以为与Web Page有关，所以叫PageRank）算法给页面评分，PageRank主要是根据每个页面的出度入度的关系为页面打分，然后根据分数排序。
• 基于用户行为的排序：采用了神经网络给用户点击行为建模，用于对一些没有发生过的查询组合给出合适的猜测。（原理上的东西没有讲的很深入，直接就上实现了，所以不是很懂）

当然，市面上的搜索引擎都不会只用上面的一种方式排序，而是会混搭使用，取长补短。