会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
繁华一瞬间
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
2018年7月19日
怎么设置不让搜索引擎收录某些页面
摘要: 一、关于robots文件 1. 搜索引擎蜘蛛访问网站时,会先查看网站根目录下有没有robots.txt文件,该文件用于指令搜索引擎禁止抓取网站某些内容或 允许抓取某些内容。注意:就算允许抓取所有内容,也要建一个空的robots.txt文件放在根目录下。 2. 只有在需要禁止抓取某些内容时,robot
阅读全文
posted @ 2018-07-19 19:28 繁华一瞬间
阅读(177)
评论(0)
推荐(0)
编辑