摘要： 1.robots.txt文件：禁止用户代理为BadCrawler的爬虫爬取该网站信息，详细信息http://www.robotstxt.org/robotstxt.html 2.#section 1 ①代理跟许可 ***User-agent:代理用户；Disallow:排除的URL*** ②将所有机 阅读全文