从网上收集EMail(正则表达式,C#源码)

    最近一直琢磨着写一个网络蜘蛛程序,专门负责收集一些自己感兴趣的东西。用.net写程序从网上取得网页源码比较容易实现,蜘蛛程序的难点在于两个方面,一是如何多线程的自动化处理(即从一个地址跳到另一个地址),另一个是从网页中提取指定的信息。自动化处理方面正在研究,从网页中提取信息,我觉得网上某些网友用String/StringBuilder来处理的方法不可取,用“正则表达式”无疑是最好的。尽管“正则表达式”不容易书写,但查一查资料,还是不难的。
    以下是我写的一个从网页中抓取EMail的方法,可以处理带分页的link。用这个程序,我一下子从一个网页中提取到3000多个EMail(哈哈,发垃圾邮件的人是不是也这样做的??)
 1       //CAll
 2        private void GetAllURL(string urlStr)
 3        {
 4            new Thread(new ParameterizedThreadStart(GetEmailAddress)).Start(urlStr);  
                 ...    //处理页面中的Link 
                }

 5        /// <summary>
 6        /// 提取网页中的Eamil
 7        /// </summary>
 8        /// <param name="urlStr">网页地址</param>

 9        private void GetEmailAddress(object urlStr)
10        {
11            ArrayList EmailStrs = GetWebInfo((string)urlStr, @"(?<EmailStr>\b[A-Z0-9._%-]+@[A-Z0-9._%-]+\.[A-Z]{2,4}\b)");   //得到Email
12            foreach (object tmp in EmailStrs)
13            {
14                Invoke(new AppendTextDelegate(AppendText), new object[] { tmp + "\r\n" });
15            }

16        }

17  
18        private ArrayList GetWebInfo(string URlStr,string RegExpress)
19        {
20            //打开指定页
21            HttpWebRequest webRequest1 = (HttpWebRequest)WebRequest.Create(new Uri(URlStr));
22            webRequest1.Method = "GET";
23            HttpWebResponse response = (HttpWebResponse)webRequest1.GetResponse();
24            String textData = new StreamReader(response.GetResponseStream(), Encoding.Default).ReadToEnd();
25
26
27            //用正则表达式,提取指定内容,带一个变量
28            Regex r;
29            Match m;
30            r = new Regex(RegExpress,   //@"copyTitle.\'(?<AdInfo>.*)\'",
31                RegexOptions.IgnoreCase | RegexOptions.Compiled);
32            int pos1=RegExpress.IndexOf("(?<");
33            int pos2=RegExpress.IndexOf(">",pos1);
34            string DestionKey = RegExpress.Substring(pos1 + 3, pos2 - pos1 - 3);
35            string  AdStr = "";
36            ArrayList Result = new ArrayList();
37            for (m = r.Match(textData); m.Success; m = m.NextMatch())
38            {
39                AdStr = m.Result("${" + DestionKey + "}").Trim();   //地址
40                Result.Add(AdStr);
41            }

42            return Result;
43        }

44

上述代码中的关键是书写提取EMail的表达式:
               @"(?<EmailStr>\b[A-Z0-9._%-]+@[A-Z0-9._%-]+\.[A-Z]{2,4}\b)"
以下是我写的一个程序界面及运行结果:


posted @ 2007-10-19 09:44  元宝  阅读(3125)  评论(8编辑  收藏  举报
我最爱的地质软件?!……