bobots.txt 文件位置：
网站根目录：/var/www/html/robots.txt
文件内容：
User-agent: * Disallow: /?* Disallow: /pop/*.html Disallow: /pinpai/*.html?* User-agent: EtaoSpider Disallow: / User-agent: HuihuiSpider Disallow: / User-agent: GwdangSpider Disallow: / User-agent: WochachaSpider Allow: /
若某网站无robots.txt文件，即默认对于爬虫无限制
而实际上，robots协议只是一个说明文件，指出需遵守的爬虫协议，并没有实际的限制效果
