2014年5月19日
robots.txt的介绍和写作
摘要： 目前很多网站管理者似乎对robots.txt并没有引起多大重视，甚至不知道这么一个文件的作用。本来应该保密的信息被爬虫抓取了，公布在公网上，本应该发布到公网的信息却迟迟不被搜索引擎收录。所以下面这篇文章，就来介绍robots.txt的作用和写作robots.txt基本介绍 robots 是一个... 阅读全文
posted @ 2014-05-19 18:03 章为忠 阅读(516) 评论(0) 推荐(0) 编辑