会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
小小码农
博客地址已转移至:
https://zhanghuijun0.github.io/
博客园
首页
新随笔
联系
订阅
管理
2015年2月1日
在Prefetcher中取消robots.txt的限制
摘要: Robots.txt是一种专门用于搜索引擎网络爬虫的文件,当构造一个网站时,如果作者希望该网站的内容被搜索引擎收录,就可以在网站中创建一个纯文本文件robots.txt,在这个文件中,声明该网站不想被robot访问的部分。这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收...
阅读全文
posted @ 2015-02-01 13:47 HuijunZhang
阅读(1349)
评论(0)
推荐(0)
编辑
公告
中国