[CTF/网络安全] 攻防世界 robots 解题详析
[CTF/网络安全] 攻防世界 robots 解题详析
题目描述：X老师上课讲了Robots协议，小宁同学却上课打了瞌睡，赶紧来教教小宁Robots协议是什么吧。
进入靶机，页面空白。
查看页面源代码：
再次结合题目Robots协议
robots.txt
robots.txt是一种文本文件，用于告知搜索引擎爬虫哪些页面可以被抓取、哪些页面不应被抓取。通常，网站管理员会在网站的根目录下放置一个名为robots.txt的文件，并使用该文件指定他们希望搜索引擎索引和不索引的页面。
下面是一个简单的robots.txt示例：
User-agent: *
Disallow: /private/
Disallow: /admin/
这个示例中，User-agent: *指定所有搜索引擎爬虫，而Disallow: /private/和Disallow: /admin/则指示搜索引擎不要抓取网站中包含在/private/和/admin/文件夹中的任何内容。
姿势
GET：/robots.txt
可知f1ag_1s_h3re.php被设置为禁止爬取，访问即可。
GET：/f1ag_1s_h3re.php
总结
该题涉及robots协议，姿势较为简单。
我是秋说，我们下次见。
