摘要：
有的时候，站长们希望自己网站内的某些内容不要被搜索引擎的蜘蛛爬取，设置搜索引擎不收录，原因有以下几点：第一，蜘蛛的抓取会增加服务器的负担，导致一部分用户体验不佳；第二，某一些信息需要权限才可以查看；第三，某一些网页保护隐私信息，站长不希望其被搜索引擎收录而让某些用户访问到........ 这个时候有以下的方法来设置： 第一种方法最为常见，就是设置robots.txt文件，这个文件一般是放在网站的根目录下面，它里面有两个主要字段，分别是User-agent和Disallow。User-agent是设定哪些搜索引擎的蜘蛛能够爬取，每一个搜索引擎都有自己的一个名字，如百度的蜘蛛叫做BaiduSpi. 阅读全文