【Information Retrieval II】
搜索引擎分类：
1、目录式搜索引擎。
2、全文搜索引擎。
3、元搜索引擎(Meta-Search Engine)。
搜索引擎的4个阶段：下载(crawl) -> 分析（segment & pagerank）-> 索引（indexing）-> 查询（retrieval）。
crawler，也就是传说中的爬虫，或者蜘蛛。
下载、分析、索引被称为“离线部分”(offline part)，也叫做在线系统；查询部分被称为“在线部分“(online part)，也叫做离线系统。在线系统需要毫秒级的访问速度，而离线系统无时间要求，所以大部数的离线工作会设计成需要1-4周。
对于网页搜索（即传说中的大搜索），存储分为网页数据（镜像）和网页索引。
【网页抓取策略】
网页的重要性：
1、链接欢迎度：反向链接。
2、链接重要度：包括.com或home的URL重要度高，以及具有较少斜框‘/’的重要度高。
3、平均链接深度：离种子网页越近的重要度越高。
所以，重要性=a*反向链接标量 + b*链接重要度标量。
【Robots协议】
robots协议是一个robots.txt名字的文件，放置在站点的根目录上。里面记录了哪些是不让抓取的目录。
【抓取提速策略】
1、提高抓取单个网页的速度。(被证明基本不可行)
2、尽可能减少不必要的抓取任务。（难度大）
3、增加同时工作的爬虫数量。（可行）
对于小的网站，为了节省成本，通过多个域名会映射到一个IP；而对于大型网站，因为访问量大，使用了负载均衡，即一个域名对应多个IP。所以无论按域名还是按IP来分工crawler的任务，都会有重复。在实际应用中，通过是按照域名来划分crawler任务，国为小在网页即始重复数据也不多，可以接受。
【网页结构化数据】
anchor，全称是anchor text，中文名字叫锚文本。
【齐普夫法则】
齐普夫法则为：第k个最经常出现的词，其词频与1/k成正比。即第k常出现的词，他的出现率为一个常量的1/k。
