【头条】隐身爬虫

开发的一个系统中其中有一个抓取第三方网站信息的功能，但是，系统运行一段时间后，被对方服务器拒绝抓取。
解决办法，只要我们伪装成浏览器。即可继续正常运行。
 
1 private static readonly string DefaultUserAgent = "User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705;)";  
2 
3 
4 
5 //获取信息
6  
7 HttpWebRequest request = WebRequest.Create(strCoumnTopPage) as HttpWebRequest;
8 request.Method = "GET";
9 request.UserAgent = DefaultUserAgent;

 

posted @ 2014-11-04 23:33  伍卓钧--博客园  阅读(273)  评论(0)  编辑  收藏  举报