webreqeust/webresponse抓取URL信息

一般情况下，如果无特殊的需要，对于抓去网页数据，可以使用WebClient，也可以使用webrequest/webresponse这对组合，不过我使用webrequest/webresponse的时候比较多一些，所以，自己整理了一个网页抓取类，上代码：

---

 

 

  1/**//// <summary>
  2    /// Web下载工具
  3    /// </summary>
  4    public class WebDownload : IDisposable
  5    {
  6        事件#region 事件
  7
  8        /**//// <summary>
  9        /// 下载完成事件
 10        /// </summary>
 11        //public event EventHandler DownloadComplete;
 12
 13        #endregion
 14
 15        字段#region 字段
 16        /**//// <summary>
 17        /// 请求对象
 18        /// </summary>
 19        private HttpWebRequest m_request;
 20
 21        /**//// <summary>
 22        /// 请求返回对象
 23        /// </summary>
 24        private HttpWebResponse m_response;
 25
 26        /**//// <summary>
 27        /// 请求URL
 28        /// </summary>
 29        public string Url = string.Empty;
 30
 31        /**//// <summary>
 32        /// Method
 33        /// </summary>
 34        public string Method = string.Empty;
 35
 36        /**//// <summary>
 37        /// 数据类型
 38        /// </summary>
 39        public string ContentType = string.Empty;
 40
 41        /**//// <summary>
 42        /// referer
 43        /// </summary>
 44        public string Referer = string.Empty;
 45
 46        /**//// <summary>
 47        /// 是否允许重定向
 48        /// </summary>
 49        public bool AllowAutoRedirect = true;
 50
 51        /**//// <summary>
 52        /// accept
 53        /// </summary>
 54        public string Accept = string.Empty;
 55
 56        /**//// <summary>
 57        /// 提交的数据
 58        /// </summary>
 59        public string PostData = string.Empty;
 60
 61        /**//// <summary>
 62        /// cookies
 63        /// </summary>
 64        public CookieContainer Cookies = null;
 65
 66        /**//// <summary>
 67        /// 连接超时时间
 68        /// </summary>
 69        public int Timeout = 100000;
 70
 71        /**//// <summary>
 72        /// 编码类型
 73        /// </summary>
 74        public Encoding Encode = Encoding.Default;
 75
 76        /**//// <summary>
 77        /// useragent
 78        /// </summary>
 79        public string UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727)";
 80
 81        /**//// <summary>
 82        /// 请求返回的数据流
 83        /// </summary>
 84        //public Stream ReceiveData = null;
 85        #endregion
 86
 87        构造函数#region 构造函数
 88        /**//// <summary>
 89        /// 下载工具
 90        /// </summary>
 91        /// <param name="url"></param>
 92        /// <param name="method"></param>
 93        public WebDownload(string url, string method) : this( url,method,string.Empty )
 94        {
 95        }
 96
 97        /**//// <summary>
 98        /// 下载工具
 99        /// </summary>
        /// <param name="url"></param>
        /// <param name="method"></param>
        /// <param name="postData"></param>
        public WebDownload(string url, string method, string postData) : this( url,method,postData,"application/x-www-form-urlencoded" )
        {
        }

        /**//// <summary>
        /// 下载工具
        /// </summary>
        /// <param name="url"></param>
        /// <param name="method"></param>
        /// <param name="postData"></param>
        /// <param name="contentType"></param>
        public WebDownload(string url, string method, string postData, string contentType) : this( url,method,postData,contentType,"image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, application/x-silverlight, */*" )
        {
        }

        /**//// <summary>
        /// 下载工具
        /// </summary>
        /// <param name="url"></param>
        /// <param name="method"></param>
        /// <param name="postData"></param>
        /// <param name="contentType"></param>
        /// <param name="accept"></param>
        public WebDownload(string url, string method, string postData, string contentType, string accept) : this( url,method,postData,contentType,accept,string.Empty )
        {
        }

        /**//// <summary>
        /// 下载工具
        /// </summary>
        /// <param name="url"></param>
        /// <param name="method"></param>
        /// <param name="postData"></param>
        /// <param name="contentType"></param>
        /// <param name="accept"></param>
        /// <param name="referer"></param>
        public WebDownload(string url, string method, string postData, string contentType, string accept,string referer) : this( url,method,postData,contentType,accept,referer,true )
        {
        }

        /**//// <summary>
        /// 下载工具
        /// </summary>
        /// <param name="url"></param>
        /// <param name="method"></param>
        /// <param name="postData"></param>
        /// <param name="contentType"></param>
        /// <param name="accept"></param>
        /// <param name="referer"></param>
        /// <param name="autoredirect"></param>
        public WebDownload(string url, string method, string postData, string contentType, string accept, string referer,bool autoredirect)
        {
            Url = url;
            Method = method;
            PostData = postData;
            ContentType = contentType;
            Accept = accept;
            Referer = referer;
            AllowAutoRedirect = autoredirect;
        }
        #endregion

        方法#region 方法

        /**//// <summary>
        /// 下载数据
        /// </summary>
        public Stream Download()
        {
            m_request = (HttpWebRequest)WebRequest.Create(Url);

            //创建cookies容器
            CookieContainer cc = null;
            if (Cookies != null)
                cc = Cookies;
            else
                cc = new CookieContainer();
            m_request.ContentType = ContentType;
            m_request.UserAgent = UserAgent;
            m_request.Referer = Referer;
            m_request.AllowAutoRedirect = AllowAutoRedirect;
            m_request.Accept = Accept;
            m_request.Timeout = Timeout;
            m_request.Method = Method;

            //检查是否有提交数据,只有post才可提交数据
            if (PostData.Length > 0 && Method == "POST")
            {
                byte[] bytes = Encode.GetBytes(PostData);
                Stream postStream = m_request.GetRequestStream();
                postStream.Write(bytes, 0, bytes.Length);
                postStream.Close();
            }

            try
            {
                m_response = (HttpWebResponse)m_request.GetResponse();
            }
            catch (WebException ex)
            {
                if (ex.Response != null)
                {
                    m_response = (HttpWebResponse)ex.Response;
                }
                else
                {
                    throw ex;
                }
            }
            return m_response.GetResponseStream();
            //if (DownloadComplete != null)
            //{
            //    DownloadComplete(this, EventArgs.Empty);
            //}
        }

        #endregion

        IDisposable 成员#region IDisposable 成员

        public void Dispose()
        {
            if (m_response != null)
                m_response.Close();
        }

        #endregion
    }