利用C#.NET開發採集工具

思路：

1、使用C#中的WebRequest或HttpWebRequest創建WEB實例訪問網頁，或使用WebClient訪問頁面。

2、通過正則表達式匹配字符串獲取要採集的數據。

3、簡單運算得出要採集的字符串。

使用WebRequest函數的C#採集器實例代碼如下（精簡）：

1. using System;
   
2. using System.Collections.Generic;
   
3. using System.ComponentModel;
   
4. using System.Data;
   
5. using System.Drawing;
   
6. using System.Text;
   
7. using System.Windows.Forms;
   
8. using System.IO;
   
9. using System.Net;
   
10. using System.Text.RegularExpressions;
    
11. 
    
12.         private void button2_Click(object sender, EventArgs e) //單擊按鈕操作
    
13.         {
    
14.             WebRequest req = WebRequest.Create("http://www.baidu.com/");
    
15.             WebResponse result = req.GetResponse();
    
16.             //Stream s = result.GetResponseStream();
    
17.             StreamReader sr = new StreamReader(result.GetResponseStream(),System.Text.Encoding.GetEncoding("gb2312"));  //創建流讀取器並設置編碼
    
18.             string content = sr.ReadToEnd();  //讀取所有字符串至變量content
    
19.             string startString = "<title>";  //定義開始字符串
    
20.             string endString = "</title>";   //定義結束字符串
    
21.             string title = "";  //定義最終要採集的字符串變量
    
22.             Regex sTitle = new Regex(startString);  //定義開始字符串的與此同時表達式
    
23.             Regex eTitle = new Regex(endString);  //定義結束字符串的與此同時表達式
    
24. 
    
25.             Match sm = sTitle.Match(content);  //匹配開始字符串
    
26.             Match em = eTitle.Match(content);  //匹配結束字符串
    
27.             if (sm.Success&em.Success)
    
28.             {
    
29.                 title = content.Substring(sm.Index + startString.Length, em.Index-sm.Index-startString.Length);  //運算得出要採集的字符串
    
30.                 MessageBox.Show(title.Trim());
    
31. 
    
32.             }
    
33. 
    
34.         }

複製代碼

下面是完整採集代碼：

1. using System;
   
2. using System.Collections.Generic;
   
3. using System.ComponentModel;
   
4. using System.Data;
   
5. using System.Drawing;
   
6. using System.Text;
   
7. using System.Windows.Forms;
   
8. using System.IO;
   
9. using System.Net;
   
10. using System.Text.RegularExpressions;
    
11. 
    
12.         private void button2_Click(object sender, EventArgs e)
    
13.         {
    
14.             WebRequest req = WebRequest.Create("http://www.baidu.com/");
    
15.             WebResponse result = req.GetResponse();
    
16.             StreamReader sr = new StreamReader(result.GetResponseStream(),System.Text.Encoding.GetEncoding("gb2312"));
    
17.             string content = sr.ReadToEnd();
    
18.             richTextBox1.Text = content;
    
19.             string startString = "<title>";
    
20.             string endString = "</title>";
    
21.             string title = "";
    
22.             Regex sTitle = new Regex(startString);
    
23.             Regex eTitle = new Regex(endString);
    
24.             Match sm = sTitle.Match(content);
    
25.             Match em = eTitle.Match(content);
    
26.             if (sm.Success&em.Success)
    
27.             {
    
28.                 title = content.Substring(sm.Index + startString.Length, em.Index-sm.Index-startString.Length);
    
29.                 MessageBox.Show(title.Trim());
    
30.                 //string abc = "wocaonima";
    
31.                 //MessageBox.Show(abc.Substring(1,2));
    
32.             }
    
33. 
    
34.         }

複製代碼

另外一種方法是使用WebClient採集，精簡代碼如下：

1. using System.Net;
   
2. 
   
3. ....
   
4. 
   
5. WebClient client = new WebClient();
   
6. 
   
7. string result = client.DownloadString(http://www.baidu.com/);
   
8. 
   
9. ...

複製代碼

然後使用正則表達式來匹配採集字符串。