跟小D每日学口语
2014年8月29日
nginx下禁止访问robots.txt的设置方法
摘要： 关于robots.txt文件：搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信 息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot 访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索... 阅读全文
posted @ 2014-08-29 17:19 Danny Chen 阅读(6718) 评论(1) 推荐(0) 编辑