[导入]用.net实现远程获取其他网站页面内容!(核心代码分析)

 

原作地址：http://www.xct.cn/forums/838/PrintPost.shtml
Jonvie 2005-06-24, 21:28 下午

远程获取网页内容.经过一定的处理和灵活应用,可以开发成成体系网站内容采集系统.通常也叫做"新闻小偷"
一般来说.做内容采集分为如下几个大致的步骤:

1.远程获取页面的全部Html源文本.

2.通过过滤处理,分析有效内容文本.(通常用正则表达式来截取有效数据)

3.将格式有效的数据,根据自己的数据库结构分标题,内容....一些其他属性保存到自己的本地数据库.

ok整个采集过程如此简单.原理也不难.下面我们看看实现的具体基础代码!

首先我们来写一个获取远程Html源的方法.

publicstring GetHttpData(string Url)
        {
            string sException=null;
            string sRslt=null;
            WebResponse oWebRps=null;
            WebRequest oWebRqst=WebRequest.Create(Url);
            oWebRqst.Timeout=50000;


            try
            {
                oWebRps=oWebRqst.GetResponse();
            }
            catch(WebException e)
            {
                    sException=e.Message.ToString();
                    EYResponse.Write(sException);
            }
            catch(Exception e)
            {
                    sException=e.ToString();
                    EYResponse.Write(sException);
            }

            finally
            {
                if(oWebRps!=null)
                {
                    StreamReader oStreamRd=new StreamReader(oWebRps.GetResponseStream(),Encoding.GetEncoding("GB2312"));
                    sRslt=oStreamRd.ReadToEnd();
                    oStreamRd.Close();
                    oWebRps.Close();
                }
            }
            return sRslt;

        }

以上代码为获取远程Html源的一个方法.参数仅一个.就是你要获取的目标页面的完整Url路径.
返回一个string类型的Html源数据.

下面我们再来继续第二个步骤.分析自己需要的有效数据!
这里我假设某个页面来做分析...

publicstring [] GetData(string Html)
{
String [ ] rS=new String[2];                
string s = Html;
                s=Regex.Replace(s,"\\s{3,}","");
                s=s.Replace("\r","");
                s=s.Replace("\n","");

string Pat="<td align=\"center\" class=\"24p\"><B>(.*)</B></td></tr><tr>.*(<table width=\"95%\" border=\"0\" cellspacing=\"0\" cellpadding=\"10\">.*</table>)<table width=\"98%\" border=\"0\" cellspacing=\"0\" cellpadding=\"0\">(.*)<td align=center class=l6h>";
                
                Regex Re =new Regex(Pat);
                Match Ma= Re.Match(s);
                if(Ma.Success)
                {
                    rS[0]=Ma.Groups[1].ToString();
                    rS[1]=Ma.Groups[2].ToString();
                    pgStr=Ma.Groups[3].ToString();
                }
return rS;
}

这个方法也很简单.主要功能及时截取获取过来的Html源.取得自己需要的数据...
参数是一个string类型的.将我们获取的html源通过参数传递过来.
在方法类通过一个正则的模式匹配找到标题和内容的位置并取出来.存入一个string的数组给方法返回...
以后的事我就不多说了..
你只要把你取出来的数据存到你数据库对应的字段就ok了!

兰宝石.NET 2006-03-28 15:20 发表评论

文章来源:http://www.cnblogs.com/sapphire/archive/2006/03/28/360973.html