网站禁用爬虫

文件名:robots.txt

内容:

User-agent: *
Disallow: /

放置位置:网站根目录。

posted on 2017-12-04 11:37  荆棘人  阅读(243)  评论(0编辑  收藏  举报

导航