摘要：
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xhtml"><head><meta http-equiv="Content-Type" content="text/html; charset=gb23 阅读全文
摘要：
什么是sitemap？sitemap是google创造出来的东西，也就是网站地图，但是这个地图和我们所说的网站的地图不一样，这个网站地图是用xml写的，并且严格按google的标准来写。提交sitemap的好处？提交sitemap有利于搜索引擎的收录，比如动态网页。google登陆一个网站，首先看是否有sitemap这个东西，如果有就先读，没有的话就逐个按站点页面抓取。sitemap就是你网站上页面的信息列表，googlebot就按照这个去一个个的抓取页面。XML Sitemaps 格式Sitemaps 协议格式由 XML 标记组成。Sitemaps 的所有数据数值应为实体转义过的。文件本身应 阅读全文
摘要：
一、内容与结构工具搜索引擎抓取内容模拟器可以模拟蜘蛛抓取指定网页，包括Text、Link、Keywords及Description信息等。http://www.webconfs.com/search-engine-spider-simulator.php页面相似度检测工具检验两个页面的相似度（如果相似度达80%以上，将可能受到惩罚）http://www.webconfs.com/similar-page-checker.php二、Sitemap 制作工具在线创建 Sitemap 网站地图文件中文:http://www.xinqj.com/sitemap/sitemap.asp英文:http:/ 阅读全文
摘要：
robots.txt是一个纯文本文件，是搜索引擎蜘蛛爬行网站的时候要访问的第一个文件，当蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围，相当于网站与搜索引蜘蛛遵循协议，如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被屏蔽的网页，作为站长，我们就可以通过robots.txt文件屏蔽掉错误的页面和一些不想让蜘蛛爬取和收录的页面，那么robots.txt该怎么样写呢? robots的语法： 1、User-agent 定义搜索引擎。一般情况下，网站里面都是：User-agent: *，这里*的意思是所有. 阅读全文