会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
跟小D每日学口语
Danny Chen
我有我的梦想。放飞我的翅膀。
[
把本页推荐给朋友
]
amazon
博客园
首页
新随笔
联系
订阅
管理
2014年8月29日
nginx下禁止访问robots.txt的设置方法
摘要: 关于robots.txt文件:搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信 息。您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot 访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索...
阅读全文
posted @ 2014-08-29 17:19 Danny Chen
阅读(6718)
评论(1)
推荐(0)
编辑
公告