2020年10月9日
试着给VuePress添加全局禁止爬取支持，基于vuepress-plugin-robots
摘要： 背景 有时候，我们有些内部网站希望不被外部抓取，那么我们可以借助vuepress-plugin-robots来生成robots.txt文件，来告诉爬虫不要抓取页面。 安装 npm install vuepress-plugin-robots 项目地址：https://github.com/HiYue 阅读全文
posted @ 2020-10-09 15:09 TaylorShi 阅读(1134) 评论(0) 推荐(0) 编辑