会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
紫云传芳
博客园
首页
新随笔
联系
订阅
管理
2018年12月22日
dedecms:解析Robots.txt 协议标准
摘要: Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单,但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。 下面我们就来详细介绍一下它的使用方法: Robots.txt 文件应该放在网站根目录下,并且该文件是可以通过互联
阅读全文
posted @ 2018-12-22 10:33 紫云传芳
阅读(618)
评论(0)
推荐(0)
编辑
公告