定向推广在给客户提供谷歌优化服务时，曾经碰到过这样的问题，网站优化的基础工作都做好了，但搜索引擎就是不肯搜索。一开始还真是不了解问题到底出在哪里了，后来仔细一想，该不会是有人动了robots文件吧。一查果然如此，果然是因为robots文件没有设置好，导致搜索引擎无法收录。别小看robots只是短短几百字节，但它却非常重要，如果设置不好，将严重影响网站的收录情况。比如该收录的不收录，不该收录的全都收录过了。还有比这更糟糕的情况吗？所以今天，让我们一起来学一学robots的基础知识吧。
robots.txt的概念
robots.txt是一个纯文本文件，必须放置在一个站点的根目录下，而且文件名必须全部小写.在robots.txt文件中可以声明该网站中不想被robots访问的部分，或者限定搜索范围，让搜索引擎只收录指定的内容。
robots.txt的作用
当一个搜索机器人访问一个网站时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。
robots.txt的基本用法
1.允许所有的robot访问
User-agent: *
Disallow:
（或者也可以建一个空文件 “robots.txt” 文件，放在网站的根目录下面，表示允许所有的搜索引擎搜索所有的文件）
2.禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
（注意：允许全部收录和全部不允许收录的语法相差只在一个符号/上面，所以在给网站书写robots的时候要特别小心）
3.禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
4.禁止某个搜索引擎的访问（下例中的BadBot）
User-agent: BadBot
Disallow: /
5.只允许某个搜索引擎的访问（下例中的Crawler）
User-agent: Crawler
Disallow:
User-agent: *
Disallow: /
robots.txt的具体实例
1.如果下面的这两个链接的内容差不多，那么根据利于优化的原则，第一个链接我们可以屏蔽掉！
/XXX?123 /123.html
如果像第一个的链接这样的链接非常多的话，其实只要屏蔽/XXX?就可以屏蔽所有的链接了。
具体代码如下：Disallow： /XXX?
2.用robots.txt屏蔽多余的链接，一般保留静态的链接(HTML、htm、shtml等)
由于网站中经常会出现多个链接指向同一个页面的情况，而这样会让搜索引擎对网站的友好度降低。为了避免这一个情况，我们就可以通过robots.txt把非主要的链接去掉。
比如以下两个链接指向同样的页面： /OOO?123 /123.html
那么根据利于优化的原则，第一个链接我们可以屏蔽掉.
代码如下： Disallow： /OOO?123
3.用robots.txt屏蔽死链
死链就是曾经存在的网页，因为改版或其他原因而失去效用后就变成死链，也就是说看似一个正常的网页链接，但点击后不能打开相对应的网页页面。
比如，原来在目录为/kakaseo下的所有链接，因为目录地址的改变，现在都变成死链接了，那么我们可以用robots.txt把它屏蔽掉。
代码如下：Disallow： /kakaseo/
4.告诉搜索引擎你的sitemap.xml地址
利用robots.txt可以告诉搜索引擎你sitemap.xml文件的地址，而不需要在网站上添加sitemap.xml的链接。
以上说明了robots.txt的概念、基本写法，具体实例，希望你的网站可以有一个好的robots.txt，因为robots.txt是搜索引擎了解你网站的一个非常重要的途径。
