Kali Linux Web渗透测试手册(第二版) - 2.8 - 利用robots.txt
翻译来自：掣雷小组
成员信息：
thr0cyte，Gr33k，花花，MrTools，R1ght0us，7089bAt，
这个公众号，一定要关注哦，慢慢会跟上面老哥们一起分享很多干货哦~~
标记红色的部分为今日更新内容。
第二章：侦察
介绍
2.1、被动信息收集
2.2、使用Recon-ng收集信息
2.3、使用Nmap扫描和识别应用服务
2.4、识别web应用防火墙
2.5、识别HTTPS加密参数
2.6、使用浏览器自带的开发工具来做基本的分析和修改
2.7、获取和修改cookie
2.8、利用robots.txt
2.8、利用robots.txt
更进一步，我们需要弄清楚站点中是否有任何页面或目录没有链接到向普通用户显示的内容，例如，到内部网或内容管理系统(CMS)的登录页面。找到类似的站点将大大扩展我们的测试表面，并为我们提供关于应用程序及其基础结构的一些重要线索。
在这小节中，我们将使用robots.txt文件，用于发现一些在主要应用程序中无法链接到的文件和目录。
怎么做…
为了说明渗透测试如何利用robots.txt。我们将在vm_1中使用vicnum，这是一个脆弱的web应用程序，它包含三个数字和单词猜测游戏。我们将使用通过robots.txt获得的信息。为了增加我们赢得这些比赛的机会:
1. 浏览器打开 http://192.168.56.11/vicnum/.
2. 现在，我们添加robots.txt到URL中，我们将看到如下结果:
这个文件告诉搜索引擎，对于每个浏览器(用户代理)，不允许对目录jotto和cgi-bin进行索引。然而，这并不意味着我们不能浏览它们。
3. 让我们打开 http://192.168.56.11/vicnum/cgi-bin/：
我们可以单击并直接导航到任何Perl脚本(.pl文件)在这个目录中。
4. 让我们打开 http://192.168.56.11/vicnum/jotto/.
5. 单击名为jotto的文件，你将看到类似下面的截图:
jotto是一个猜五字的游戏，这可能是答案的列表吗?使用列表中的单词作为答案进行游戏，我们已经破解了这个游戏:
它是如何工作的…
Robots.txt是web服务器用来告诉搜索引擎他们应该索引的目录或文件以及他们不允许查看的内容的文件。从攻击者的角度来看，这告诉我们服务器中是否有一个目录是可以访问的，但是通过隐藏的方式将其隐藏起来(也就是说，假设用户不知道某个目录的存在，他们就不会发现这个目录)。
