数学之美感想2---开发一个简单的搜索引擎大概

  开发一个搜索引擎,要有下载网页,索引,网页质量,网页与关键词的相关性四个方面。

  第一个下载网页方面是网络爬虫的问题,是个DFS和BFS的交叉性的问题。

  索引是建立颗粒度和快速查找的依据,也是布尔代数的基础。

  网页质量是采用了Pagerank算法。民主表决,很多人链接的网页,这个网页的质量就高。  链接数矩阵和等值矩阵不断迭代,然后逼近真正的网页质量,据检测,经过10次之后,大致变化就不大了。

  网页和关键词的相关性---采用了TF-IDF的方法,理论为:将关键词拆分,然后拆分的词的频率*权值的和。信息论的依据还有相关的公式。信息量越多,TF-IDF值越大,而在命中的文献中平均出现的次数越多,TF-IDF越大(这个得想想)

posted @ 2012-08-07 23:09  gui__li  阅读(191)  评论(0编辑  收藏  举报