html头部标签写法:

<meta name="robots" content="index,follow" />

content中的值决定允许抓取的类型,必须同时包含两个值:是否允许索引(index)和是否跟踪链接(follow,也可以理解为是否允许沿着网页中的超级链接继续抓取)。共有4个参数可选,组成4个组合:

  1. index,follow:允许抓取本页,允许跟踪链接。
  2. index,nofollow:允许抓取本页,但禁止跟踪链接。
  3. noindex,follow:禁止抓取本页,但允许跟踪链接。
  4. noindex,nofllow:禁止抓取本页,同时禁止跟踪本页中的链接。

index,follow可以写成all,如:<meta name="robots" content="all" />

noindex,nofollow可以写成none,如:<meta name="robots" content="none" />

 

 

robots.txt写法:可参考淘宝、京东的写法

https://www.taobao.com/robots.txt

http://www.jd.com/robots.txt

 

 posted on 2016-06-04 10:53  酱油的seo学习笔记  阅读(146)  评论(0编辑  收藏  举报