隐藏页(Cloaking),又称障眼法、伪装技术,就是为搜索引擎爬虫和用户浏览器分别提供不同版本的内容,这主要根据HTTP请求头的IP和User-Agent信息来区分。
障眼法是一种典型的黑帽SEO作弊方法 ,也是桥页的一种形式。通过返回给爬虫的内容(如拷贝已经在搜索引擎获得高排名的页面内容)获取较高的排名,吸引搜索引擎的用户点击过来,而当搜索引擎用户点击进来时发现内容不同而且很普通。这类欺骗搜索引擎的内容一旦被举报,搜索引擎将会除名该站点。
隐藏页面技术不仅仅用来的欺骗搜索引擎,有时也用来欺骗一些开放目录的编辑,因为编辑喜欢点击目录页面上的链接来检查站点,这样可以根据HTTP请求头中的Referer来确定用户来自特定的开放目录,服务器将为该用户返回伪造页内容。
2006年随着"渐进增加(progressive Enhancement)"策略(一种Web可访问性的概念)的出现,隐藏页技术被认为是一种多余的技术。
2007年“马赛克式隐藏页”概念被提出,通过只动态改变页面标题、部分页面内容、Javascript和CSS等,减小伪造页面与真实页面之间内容差别。
现在的很多大站点根据用户的地理位置发送不同内容,被称为"IP Delivery",也是一种良性的隐藏页。有些网站使用首次免费点击(First Click Free),用户第一次访问是免费的,但第二次访问会跳转到付费页面。这些都是隐藏页,搜索引擎不会认为这是作弊。
反伪装,搜索引擎也可以通过伪装成客户端浏览器来检测获得内容与爬虫获得内容是否相同。所以Cloaking是非常危险的技术,要保证识别一个搜索引擎爬虫的所有的IP。
障眼法是一种典型的黑帽SEO作弊方法 ,也是桥页的一种形式。通过返回给爬虫的内容(如拷贝已经在搜索引擎获得高排名的页面内容)获取较高的排名,吸引搜索引擎的用户点击过来,而当搜索引擎用户点击进来时发现内容不同而且很普通。这类欺骗搜索引擎的内容一旦被举报,搜索引擎将会除名该站点。
隐藏页面技术不仅仅用来的欺骗搜索引擎,有时也用来欺骗一些开放目录的编辑,因为编辑喜欢点击目录页面上的链接来检查站点,这样可以根据HTTP请求头中的Referer来确定用户来自特定的开放目录,服务器将为该用户返回伪造页内容。
2006年随着"渐进增加(progressive Enhancement)"策略(一种Web可访问性的概念)的出现,隐藏页技术被认为是一种多余的技术。
2007年“马赛克式隐藏页”概念被提出,通过只动态改变页面标题、部分页面内容、Javascript和CSS等,减小伪造页面与真实页面之间内容差别。
现在的很多大站点根据用户的地理位置发送不同内容,被称为"IP Delivery",也是一种良性的隐藏页。有些网站使用首次免费点击(First Click Free),用户第一次访问是免费的,但第二次访问会跳转到付费页面。这些都是隐藏页,搜索引擎不会认为这是作弊。
反伪装,搜索引擎也可以通过伪装成客户端浏览器来检测获得内容与爬虫获得内容是否相同。所以Cloaking是非常危险的技术,要保证识别一个搜索引擎爬虫的所有的IP。