数学之美感想2---开发一个简单的搜索引擎大概
开发一个搜索引擎,要有下载网页,索引,网页质量,网页与关键词的相关性四个方面。
第一个下载网页方面是网络爬虫的问题,是个DFS和BFS的交叉性的问题。
索引是建立颗粒度和快速查找的依据,也是布尔代数的基础。
网页质量是采用了Pagerank算法。民主表决,很多人链接的网页,这个网页的质量就高。 链接数矩阵和等值矩阵不断迭代,然后逼近真正的网页质量,据检测,经过10次之后,大致变化就不大了。
网页和关键词的相关性---采用了TF-IDF的方法,理论为:将关键词拆分,然后拆分的词的频率*权值的和。信息论的依据还有相关的公式。信息量越多,TF-IDF值越大,而在命中的文献中平均出现的次数越多,TF-IDF越大(这个得想想)。