Loading

2016年12月7日
网站 robots.txt 文件编写
摘要： 网站 robots.txt 文件编写 Intro robots.txt 是网站根目录下的一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。 当一个搜索机器人（有的叫搜索蜘蛛或爬虫）访问一个站点时，它会首先检查该站点根目录下是否存在r 阅读全文
posted @ 2016-12-07 20:52 WeihanLi 阅读(1949) 评论(0) 推荐(0) 编辑