禁止所有搜索爬虫访问网站指定目录robots.txt

禁止所有搜索爬虫访问网站指定目录

用自己私人的服务器来测试吧，99买阿里云

文件放置不让爬取的网站文件夹目录里

robots.txt

User-agent: *
Disallow: /

User-Agent值可改为：

搜索引擎	User-Agent值
Google	googlebot
百度	baiduspider
雅虎	slurp
MSN	msnbot
Alexa	is_archiver