robots书写说明：


  • “User-Agent”搜索引擎的名字。
  • 针对所有搜索引擎写法：User-Agent: *，针对百度搜索引擎写法：User-Agent:Baiduspider
  • “Allow”允许抓取。例：允许抓取news目录，参考写法：Allow: /news
  • “Disallow”禁止抓取。例：禁止抓取admin目录，参考写法：Disallow: /admin
posted @ 2017-09-22 11:33  码农编程进阶笔记  阅读(25)  评论(0)  编辑  收藏  举报
返回顶部 有事您Q我