2024年9月19日
网站robots.txt文件简要说明
摘要： 1、robots.txt文件是用来指示搜索引擎的爬虫哪些页面可以爬取，哪些页面不能爬取的。 2、robots.txt（统一小写） 文件路径： 网站根目录/robots.txt 或者 public/robots.txt 关键指令解释： User-agent: 指定搜索引擎爬虫（如 Googlebot、 阅读全文
posted @ 2024-09-19 12:01 未来的羁绊 阅读(291) 评论(0) 推荐(0) 编辑