摘要：
CTF学习记录--Robots协议 robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件。 它通常是为了告之搜索引擎爬虫可获取的资源和不可获取的资源。 robots协议不是一种规范而只是一种约定俗成。并不可以保障你网站的隐私不被检索。 User-ag 阅读全文
摘要：
robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件。 它通常是为了告之搜索引擎爬虫可获取的资源和不可获取的资源。 robots协议不是一种规范而只是一种约定俗成。并不可以保障你网站的隐私不被检索。 User-agent: * 这里的*代表的所有的搜 阅读全文