Asp.net解析HTML并利用XPATH分析提取内容

HTML解析器有很多种,最常用的是HtmlAgilityPack和SgmlReader(http://sourceforge.net/projects/dekiwiki/files/SgmlReader/)。

这里使用的是HtmlAgilityPack

下载地址:http://htmlagilitypack.codeplex.com

同时官网提供了一个自动生成xpath路径的工具HAP Explorer

关于XPATH表达式以及相关教程参见:XPath表达式精选[更新中...]

获取HTML的方式有很多种:

1.通过HttpWebRequest类可实现模拟登录并获取页面信息

2.用第三方控件模拟登录,参见:正在做简历搬家功能,分享一下研究过程

使用方法:

首先引用HtmlAgilityPack的DLL文件 using HtmlAgilityPack;

根据XPath提取内容的函数: 


     
/// <summary>

/// 根据XPATH获取筛选的字符串

/// </summary>

/// <param name="content">需要提取HTML的内容</param>

/// <param name="xpath">XPath表达式</param>

/// <param name="separ">分隔符</param>

/// <returns>提取后的内容</returns>

public static string GetStrByXPath(string content, string xpath, string separ)

{

HtmlDocument doc1
= new HtmlDocument();

doc1.LoadHtml(content);

HtmlNodeCollection repeatNodes
= doc1.DocumentNode.SelectNodes(xpath);

string text = "";

//循环节点

foreach (HtmlNode node in repeatNodes)

{

text
+= node.InnerText + separ;

}

return text;

}
posted @ 2011-05-24 15:25  潇客的技术博客  阅读(3521)  评论(0编辑  收藏  举报