1. using System;   
  2. using System.Collections.Generic;   
  3. using System.Text;   
  4. using System.Diagnostics;   
  5. using System.Text.RegularExpressions;   
  6. using System.IO;   
  7. using System.Net;   
  8.   
  9. namespace 采集测试   
  10. {   
  11.     class Program   
  12.     {   
  13.         static void Main(string[] args)   
  14.         {   
  15.             string[] urls= {   
  16.                 "http://www.yongfa365.com",   
  17.                 "http://www.cbdcn.com",   
  18.                 "http://www.csdn.net",   
  19.                 "http://www.sina.com",   
  20.                 "http://www.tom.com",   
  21.             };   
  22.   
  23.             string html="";   
  24.   
  25.             html = CaiJi.GetHtmlSource("http://www.yongfa365.com", Encoding.Default);   
  26.             Console.Write(html);   
  27.             Console.ReadKey();   
  28.   
  29.             html = CaiJi.GetHtmlSource("http://www.baidu.com/");   
  30.             Console.Write(html);   
  31.             Console.ReadKey();   
  32.   
  33.             html = CaiJi.GetHtmlSource("http://www.tom.com","utf-8");   
  34.             Console.Write(html);   
  35.             Console.ReadKey();   
  36.   
  37.             foreach (string url in urls)   
  38.             {   
  39.                 Console.Write(CaiJi.GetHtmlSource(url));   
  40.                 Console.ReadKey();   
  41.                
  42.             }   
  43.         }   
  44.     }   
  45. }   
  46.   
  47.   
  48. /// <summary>   
  49. /// 柳永法采集类   
  50. /// </summary>   
  51. class CaiJi   
  52. {   
  53.     /// <summary>   
  54.     /// 取得网页源码   
  55.     /// </summary>   
  56.     /// <param name="url">网页地址,eg:"http://www.yongfa365.com/" </param>    
  57.     /// <param name="charset">网页编码,eg:"utf-8"</param>   
  58.     /// <returns>返回网页源文件</returns>   
  59.     public static string GetHtmlSource(string url, string charset)   
  60.     {   
  61.         //编码处理    
  62.         Encoding nowCharset;   
  63.         if (charset == "" || charset == null)   
  64.         {   
  65.             nowCharset = Encoding.Default;   
  66.         }   
  67.         else  
  68.         {   
  69.             nowCharset = Encoding.GetEncoding(charset);   
  70.         }   
  71.   
  72.         //处理内容   
  73.         string html = "";   
  74.         try  
  75.         {   
  76.             //WebRequest myWebRequest = WebRequest.Create(url);   
  77.             //WebResponse myWebResponse = myWebRequest.GetResponse();   
  78.             //Stream stream = myWebResponse.GetResponseStream();   
  79.             //StreamReader reader = new StreamReader(stream, nowCharset);   
  80.   
  81.             HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);   
  82.             HttpWebResponse response = (HttpWebResponse)request.GetResponse();   
  83.             Stream stream = response.GetResponseStream();   
  84.             StreamReader reader = new StreamReader(stream, nowCharset);   
  85.             html = reader.ReadToEnd();   
  86.             stream.Close();   
  87.         }   
  88.         catch (Exception e)   
  89.         {   
  90.         }   
  91.         return html;   
  92.     }   
  93.   
  94.     /// <summary>   
  95.     /// 取得网页源码   
  96.     /// </summary>   
  97.     /// <param name="url">网页地址,eg: "http://www.yongfa365.com/" </param>    
  98.     /// <param name="charset">网页编码,eg: Encoding.UTF8</param>   
  99.     /// <returns>返回网页源文件</returns>   
  100.     public static string GetHtmlSource(string url, Encoding charset)   
  101.     {   
  102.         //处理内容   
  103.         string html = "";   
  104.         try  
  105.         {   
  106.             HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);   
  107.             HttpWebResponse response = (HttpWebResponse)request.GetResponse();   
  108.             Stream stream = response.GetResponseStream();   
  109.             StreamReader reader = new StreamReader(stream, charset);   
  110.             html = reader.ReadToEnd();   
  111.             stream.Close();   
  112.         }   
  113.         catch (Exception e)   
  114.         {   
  115.         }   
  116.         return html;   
  117.     }   
  118.   
  119.     /// <summary>   
  120.     /// 取得网页源码   
  121.     /// 对于带BOM的网页很有效,不管是什么编码都能正确识别   
  122.     /// </summary>   
  123.     /// <param name="url">网页地址,eg: "http://www.yongfa365.com/" </param>    
  124.     /// <returns>返回网页源文件</returns>   
  125.     public static string GetHtmlSource(string url)   
  126.     {   
  127.         //处理内容   
  128.         string html = "";   
  129.         try  
  130.         {   
  131.             HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);   
  132.             HttpWebResponse response = (HttpWebResponse)request.GetResponse();   
  133.             Stream stream = response.GetResponseStream();   
  134.             StreamReader reader = new StreamReader(stream, Encoding.Default);    
  135.             html = reader.ReadToEnd();   
  136.             stream.Close();   
  137.         }   
  138.         catch (Exception e)   
  139.         {   
  140.         }   
  141.         return html;   
  142.     }   
  143. }  
 posted on 2010-01-22 22:54  野人哥哥  阅读(558)  评论(0编辑  收藏  举报