一 搜索的始祖和原理
一 搜索的始祖和原理
我不同意1990年以前没有搜索的说法，尽管1990年对搜索而言是一个里程碑式的年份。
搜索(search或search engine)是一种古老的文化活动。搜索的第一位祖先是无名氏，他创立的搜索方式是“分类搜索”（directory,也叫目录搜索）。
搜索的第二位先驱是加拿大人爱伦.埃蒙塔基。1990年，爱伦.埃蒙塔基就读于蒙特利尔的麦克奇尔大学，他设计了一个叫Archie的程序，用于检索互联网上匿名的FTP（File Transfer Protocol文件传输协议）文件。尽管那时World Wide Web还没有出现，尽管现在的搜索领域充斥着日新月异的技术，所有“索引搜索”(index)的基础都架设在那个加拿大人的肩膀上。
如果说检索FTP文件的Archie是索引搜索的祖父，那么检索Gopher文件的Veronica就是索引搜索的祖母。Gopher类似于FTP,不过传输的是documents而不是files。Veronica于1993年在美国内华达大学被开发问世。
Archie和Veronica的孩子，网络漫游者（World Wide Web Wanderer），是所有索引搜索的母亲。美国麻省理工学院教授麦修.格雷（Matthew Gray）开发的网络漫游者是一个“机器人”(Robot)程序，能以人类无法达到的速度不断重复执行某项任务。专门用于检索信息的机器人程序象蜘蛛一样在网络间爬来爬去，所以索引搜索的机器人程序又称为蜘蛛程序（Spider）。
分类搜索的原理和技术都十分简单，但如果说它落伍过时，如果预测它将退出历史舞台，那就犯了一个天大的错误。事实是，越是简单的东西，越具有生命力。
我们翻开一本书，首先是目录，告诉我们某章某节在第几页。这就是分类搜索的全部原理，不过在互联网是通过链接“翻”到我们要查询的信息。
互联网的信息一般用“海量”来描述。爆炸式膨胀的海量信息，通常被搜索提供者分成十八类，娱乐、游戏、体育、生活、购物、健康、艺术、文学、新闻、经济、企业、电脑、教育、社科、科技、政治、社会、地区，每一类又分为若干子类，然后再层层细分。
分类既要尊重图书情报学分类的客观规律，又要照顾上网者的偏好习惯，结果是搜索提供者对分类的意见相当不统一。这种分歧之大，常让人怀疑互联网还有没有科学可言。游戏类和购物类，有人认为分别是娱乐类和生活类的小类，但另一些人则坚持认为它们应该是与娱乐类、生活类并列的大类。同样的现象发生在旅游和文学的归类上。人们对不到二十个大类都不能统一意见，可以想象，数十万个基本小类的归属和交叉引用，将会躁动着怎样的矛盾和冲突。
尽管存在着这个缺陷，分类搜索仍然是最基本、最有生命力的搜索方式，因为它忠实地体现了人类思维的基本冲动——将混乱梳理成清晰。
分类搜索的数据库是手工建造的，搜索活动则是分类搜索提供者和使用者对信息的共识的交流。分类搜索提供者按照自己对世界的理解构建一个庞大复杂的信息分类体系，逐个收集网站，逐条录入基本信息，一点一滴积累起一个结构分明的网站数据库。搜索者按照同样的路径层层深入，最后寻找到自己需要的信息。这个无数人天天重复的过程强化了人们对世界结构的共同认识。
索引搜索走的是一条完全不同的道路。就象分类搜索指的是搜索网站数据库一样，索引搜索并不是搜索整个互联网，而是搜索网页数据库，或者更确切地说，搜索网页索引数据库。
索引搜索就是指搜索提供者抓取了互联网数千万到数亿个网页，并对网页中的每一个文字（即关键词）进行检索，建立网页索引数据库，当搜索使用者查找某个关键词的时候，所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。在经过复杂的算法进行排序后，这些结果将按照与搜索关键词的相关度高低，顺序排列。
无论是信息的收集还是信息的查询，都通过一种复杂的技术自动完成，过程的速度常常用“亚秒级”来形容。这项凝聚了十四年来人类共同智慧的技术可以用六个字概括，抓取、存储和排列。
麦修.格雷孵养的那只“蜘蛛”，一个能以人类无法达到的速度不断重复执行某项任务的自动程序，自动访问互联网，沿着任何网页中的所有URL爬到其它网页，重复这个过程，并把爬过的所有网页抓取回来。
在本部，另一个程序对抓取回来的网页进行分析，提取相关网页信息（包括网页所在URL、编码类型、页面内容包含的所有关键词、关键词位置、生成时间、大小、与其它网页的链接关系等等），按照一定的相关度算法进行系列复杂计算，得到网页与关键词的相关度（或重要性）关系，然后存储这些相关信息，建立网页索引数据库。
符合关键词的网页仍然有成千上万，决定索引搜索优劣的是它们按重要性大小排列搜索结果的能力。目前已普遍使用超链分析技术，除了分析索引网页本身的文字，还分析索引所有指向该网页链接的URL、AnchorText、甚至链接周围的文字。这些隐藏在后面的复杂技术告诉我们网页的质量、受欢迎程度以及与我们心中期盼结果的相关性。
剩下的你全知道了。输入你要搜索内容的关键词，回车，所有你需要的搜索结果在几毫秒的时间内呈现在你眼前。
我的博客 www.wjs.arkoo.com
我的博客 www.wjs.arkoo.com
