摘要： html头部标签写法： <meta name="robots" content="index,follow" /> content中的值决定允许抓取的类型，必须同时包含两个值：是否允许索引（index）和是否跟踪链接（follow，也可以理解为是否允许沿着网页中的超级链接继续抓取）。共有4个参数可选 阅读全文