XCTF Web 高手区002：Training-WWW-Robots

题目：

WP：
打开网页看到一堆英文，看不懂的同学可以翻译一下：

在这个小小的训练挑战中，你将学习机器人排除标准。
web爬虫程序使用robots.txt文件来检查是否允许爬网和索引您的网站，或者只允许对网站的一部分进行爬网和索引。
有时这些文件会显示目录结构，而不是保护内容不被爬网。
享受吧！

说白了还是robots协议的考察，可以参考我的博客里面新手区的第二题

老样子，加后缀看看哪些文件可以查询

有一个不允许访问的文件f10g.php
为什么不给你访问？
肯定是flag所在啊

理所当然找到了flag