如果你的网站供应商禁止你上传robots.txt文件到根目录，或者你仅仅是希望部分定制搜索爬虫对于你网站上的一些页面的动作，有一个可以代替robot.txt的方法，那就是使用robots的meta标签。
创建你的机器人meta标志
其实，机器人的meta标志和其他的meta标志没有什么两样，一定是添加在你的页的head部分的。
<meta name="robots" content="noindex,nofollow" />
这里有一个contents属性可以使用值的列表
(no)index
是否允许爬虫索引该页面，允许的值: "noindex"或"index"
(no)follow
是否允许爬虫跟踪页面中的链接并且挖掘它们，允许的值"nofollow"或"follow."
这里有一些例子
1> 以下代码不允许对当前页索引，也不允许爬虫对超链接的页面进行跟踪
<meta name="robots" content="noindex,nofollow" />
2> 不允许页面索引，但允许爬虫对超链接的页面进行跟踪
<meta name="robots" content="noindex,follow" />
3> 允许页面索引，但不允许爬虫对超链接的页面进行跟踪
<meta name="robots" content="index,nofollow" />
4> 最后，有一个简单的方式来声明1>中的东西<meta name="robots" content="none">
摘自：http://www.cnblogs.com/tonyqus/archive/2006/02/08/327183.html
