robots.txt 文件说明
robots其实就是指Robots协议,Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取
搜索引擎蜘蛛来到我们的网站时,第一个访问的文件就是robots.txt文件,如果网站没有robots.txt,就默认搜索引擎可以抓取网站里所有的内容。
文件包含内容:
User-agent: 搜索引擎蜘蛛的名称
Disallow: 既要拦截的部分
Allow : 允许搜索的部分
Sitemap: 网站地图
作用:
1 设置禁止搜索引擎访问的页面,如后台页面,搜索结果页面,静态页面,重复的页面。低质量 或者不希望被收录的网页。 2 告诉搜索引擎网站地图在哪 3 如果不设置,,会使用搜索引擎匹配到很多无用的信息,会降低该网站的权重,影响该网站的排行等
示例
一、 User-agent: *(定义所有搜索引擎) User-agent: Googlebot (定义谷歌,只允许谷歌蜘蛛爬取) User-agent: Baiduspider (定义百度,只允许百度蜘蛛爬取) 不同的搜索引擎的搜索机器人有不同的名称,谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。 二、Disallow:(用来定义禁止蜘蛛爬取的页面或目录) 示例: Disallow: /(禁止蜘蛛爬取网站的所有目录 "/" 表示根目录下) Disallow: /admin (禁止蜘蛛爬取admin目录) Disallow: /abc.html (禁止蜘蛛爬去abc.html页面) Disallow: /help.html (禁止蜘蛛爬去help.html页面) Disallow: /search?1.html (?禁止这个开头的页面) 三、Allow:(用来定义允许蜘蛛爬取的页面或子目录) 示例: Allow: /admin/test/(允许蜘蛛爬取admin下的test目录) Allow: /admin/abc.html(允许蜘蛛爬去admin目录中的abc.html页面) 两个通配符如下: 四、匹配符 “$” $ 通配符:匹配URL结尾的字符 五、通配符 “*” * 通配符:匹配0个或多个任意字符 Disallow: *-* 屏蔽全站url内带有的 - 的链接
本文来自博客园,作者:lanwf,转载请注明原文链接:https://www.cnblogs.com/lccsdncnblogs/p/16911852.html