.net 数据抓取中添加cookie值

最近发现抓取网页数据的工作越来越多了，抓取技术，正则表达式，各种麻烦，这次又遇到了cookie的问题。

首先痛恨一下那些靠cookie来变换网页内容的网站，嘿嘿

 在网上找了一些资料，最后整理出来了结论

 说结论之前先说一下cookie的层次关系，在.net中cookie的大小关系如下CookieContainer--CookieCollection--Cookie  ，其中我们使用的HttpWebRequest使用的正式第一级别也就是CookieContainer，弄明白这个关系以后就可以进行相应的代码开发了

 

 1 public void StartClimb()

 2         {

 3             string urlContent = "";

 4 

 5             try

 6             {

 7                 CookieCollection cookies = new CookieCollection();

 8                 cookies.Add(new Cookie("cookie名称", "cookie值"));

 9 

                 HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create("http://www.XXXXX.com");

                 webRequest.Timeout = 30000;

                 webRequest.AllowAutoRedirect = true;

                 webRequest.UserAgent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)";

                 webRequest.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";

                 webRequest.Headers.Set("Pragma", "no-cache");

                 webRequest.Headers.Add("Accept-Language", "zh-cn,zh;q=0.5");

                 webRequest.Headers.Add("Accept-Encoding", "gzip,deflate");

                 webRequest.Headers.Add("Accept-Charset", "GB2312,utf-8;q=0.7,*;q=0.7");

 

                 CookieContainer myCookieContainer = new CookieContainer();

                 myCookieContainer.Add(webRequest.RequestUri,cookies);

                 webRequest.CookieContainer = myCookieContainer;

 

                 HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse();

                 

 

                 Stream stream;

                 //对gzip和deflate进行解密处理

                 switch (webResponse.ContentEncoding)

                 {

                     case "gzip":

                         stream = new GZipStream(webResponse.GetResponseStream(), CompressionMode.Decompress);

                         break;

                     case "deflate":

                         stream = new DeflateStream(webResponse.GetResponseStream(), CompressionMode.Decompress);

                         break;

                     default:

                         stream = webResponse.GetResponseStream();

                         break;

                 }

 

                 StreamReader streamReader;

                 streamReader = new StreamReader(stream, Encoding.UTF8);

                 //streamReader = new StreamReader(stream, Encoding.Default);

                 //streamReader = new StreamReader(stream, Encoding.UTF8);

                 urlContent = streamReader.ReadToEnd();

                 streamReader.Close();

                 stream.Close();

 

                 if (webRequest != null) { webRequest.Abort(); }

                 if (webResponse != null) { webResponse.Close(); }

             }

             catch (WebException ex)

             {

 

             }

             catch (Exception ex)

             {

 

             }

 

             

         }

有了上面的代码应该就可以搞定cookie的事情了。不过一般我们在开发的时候可能会忘记Cookie的Domain问题，这样的话在程序执行的时候会导致报错

 

myCookieContainer.Add(webRequest.RequestUri,cookies);

这句话声明了必要的Domain，CSDN上面的一个帖子的问题就出在于此http://topic.csdn.net/u/20080402/18/d63636a7-d81e-40f2-b972-b9c6bb775ac4.html

 

 

对了，如果你不知道需要传递什么cookie给服务器，那么有很多办法，其中最简单的就是通过firefox的firebig来查看，还有ie9里面的f12功能，再有就是自己写程序，在抓取的时候获取一些传回的cookie值，但是记得也要声明URL

 

HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse();
CookieCollection CCol = myCookieContainer.GetCookies(webRequest.RequestUri);