网站robots.txt文件简要说明
1、
robots.txt文件是用来指示搜索引擎的爬虫哪些页面可以爬取，哪些页面不能爬取的。
2、robots.txt（统一小写）
文件路径：
网站根目录/robots.txt 或者 public/robots.txt
关键指令解释：
User-agent: 指定搜索引擎爬虫（如 Googlebot、Bingbot 等），*代表所有爬虫。
Disallow: 禁止访问的路径，/代表根目录，后面跟随的路径表示要禁止爬取的目录或文件。
Allow: 明确允许访问的路径（仅用于与 Disallow 搭配）。
Sitemap: 提供站点地图的 URL。
1、允许所有爬虫爬取所有内容：
写法一：
User-agent: *
Disallow:
写法二：
User-agent: *
Allow:/
2、禁止所有爬虫访问整个网站：
User-agent: *
Disallow: /
3、禁止所有爬虫访问特定目录或文件：
User-agent: *
Disallow: /admin/
Disallow: /private/
Disallow: /secret.html
4、允许所有爬虫访问某个目录或文件，但禁止其他部分：
User-agent: *
Disallow: /private/
Allow: /public/
Allow: /index.html
