Auto_Parser
使用HtmlParser编写的抽取程序的缺点:
1.用Htmlparser写的程序很难去维护。
2.能否将要抽取的信息的定义和htmlparser程序分离?
3.用简单的办法解决问题。
抽取规则XML文件的编写规范
一.基础
Html文档由一系列的标签节点组成,这些节点使用树形结构组织,每一个标签节点由TagName,Attributes,以及ChildTags组成,我们要抽取一个信息总是要先对应到一个具体的标签节点上,然后再对这个标签节点进行操作从而获取要的信息,所要的信息可能是这个标签的某个属性,或者这个标签在界面上输出的字符串(忽略格式),或者是这个标签的Html等等,因此在抽取之前首先要定位到信息所在标签,我们称这个标签为元标签。
定位元标签的办法有:
- 直接通过这个元标签的标签名称,以及它的一些属性来定位。
例1:假如元标签是<div class=”thert”>...</div>那么我们可以通过两个限制条件来找到这个标签,分别是tagName=div,HasAttribute(class, thert).
- 如果我们要唯一的定位到某一个元标签,然而整个html文档却有多个满足类似办法1的限制条件的标签,这个时候可以尝试使用更加多的限制条件来定位到元标签,但仍然可能会失败。
例2:<div att1=value1>
<h1 att=v></h1>
</div>
<div att1=value2>
<h1 att=v ></h1>
</div>
如果我们使用tagName =h1,HasAttribute(att,v)来定位总是会定位到两个标签,然而如果我们能够考虑到一些层级信息,即如果我们先定位到<div att1=value1>,然后再以对应的html元标签作为html数据,再在里面定位<h1 att=v>就能够定位到<h1 att=v></h1>。
二.Auto_Parser
Xml文档的编写首先要符合XML文档的规范,有一个根节点,然后具体元标签的定位部分是在根节点内。
(1)有以下几种定位方式:
1.直接定位
如果我们要的元标签包含这样的结构<h1 class="articleTitle">,即标签名称是h1,包含一个属性值对class和articleTitle(也可能还有其他属性值对,但在class就已经可以准确定位的情况下其他属性值对就没必要列出来),那么我们可以这样定位
<h1 class="articleTitle"></h1>
2.带正则表达式的直接定位
<h1 class="\d+ " regex=”class”></h1>
其中regex属性不作为定位属性,其是用来声明元标签的class属性的值要满足正则表达式”\d+”.
<h1 att1=v1 att2=v2 class="\d+ "att3 = v3 att4=”[0-9 ]+ ” att5=v5 regex=”class; att3”></h1>
其中使用正则表达式的多个属性间使用”;”隔开,没有在regex中声明的属性不使用正则表达式方式。使用和不使用正则表达式的属性之间没有顺序要求,使用正则表达式的属性在regex中的声明也没有顺序要求。
- 使用层级关系的定位
每一级定位定位到一个或多个标签,然后下一级的定位是在上一级定位到的html标签中进行定位。每一级定位都是一次(带正则表达式的)直接定位,唯一的区别是下一级的定位是在上一级定位到的html标签中进行而不是在整个html文档中。
- 处在同一层上的定位
例2中<div att1=value1>和<div att1=value2>就是处在同一级上的定位,其含义是在它们共同上一级定位到的标签内,分别定位满足<div att1=value1>和<div att1=value2>的元标签,也就是它们的作用域是相同的。
5. 利用上下级标签的父子关系定位。
<div>
<a HasParent=”true”>
</a>
</div>
上述的HasParent属性并不作为真实的标签属性,其用来说明a标签的父亲标签是div,这样定位到的a标签只会是div的孩子,而不是除孩子以外的后代a标签结点。
6. 使用Order属性进行定位。
<table summary="World: Administrative Divisions">
<tr>
<td Order="2">
<a>
<extraction key="cap">
<text columnName="a"></text>
</extraction>
</a>
</td>
<td Order="8">
<a>
<extraction key="cap">
<attribute columnName="link">href</attribute>
<text columnName="name"></text>
</extraction>
</a>
</td>
</tr>
</table>
Order不作为真实的标签属性,其用来说明在找到的多个满足td的标签中的第二个(从1计)。
(2)定义要抽取的信息
1.在每一层的定位节点下都可以定义要抽取的信息,其作用域是该定位节点定位到的那些Html元标签。
2.定义的方式如
<p id="publishedOnlineDate">
<extraction key="cap">
<attribute columnName=”htmlID”>id</attribute>
<text columnName="pubDate" regex="\d+.*"></text>
<html columnName="pubDateHtml"></html>
</extraction>
</p>
*: 其中<extraction key="cap">是用来说明其内的信息是用来定义抽取内容的,每个定位标签下可以有0或者1个<extraction>,<extraction>不可以嵌套,一个定位层次中最内层必须要有<extraction>,最内层的祖先层可以有或无<extraction>。
Key用来表示抽取的信息所属的类别。
*: attribute是用来说明要抽取的是定位标签定位到的html元标签的某个属性信息,该属性的名称为id,该数据将被添加到由columnName标记的Vector<String>的尾部,也可以使用正则表达式对该属性值进行处理,和正则表达式匹配的数据部分将被存入,而不是整个数据,正则表达式的定义由regex属性说明。
*: text要抽取的是定位标签定位到的html元标签的toPlainTextString.就是该元标签输出到页面上字符串(忽略格式),其他和attribute相同,但是<text></text>之间没有内容。
*: html要抽取的是定位标签定位到的html元标签的html, 其他和text相同。
*: extraction中至少有attribute, text,html的一个,但不能是0个,可以多个attribute,多个text,多个html。
*: attribute标签中id部分可以是定位标签中没有的,但是必须是定位到的html元标签有的。
*: attribute, text,html都必须有columnName属性。
(3)抽取出来的信息的存放方式
HashMap<String,HashMap<String, Vector<String>>>
外层的key对应extraction中的key。
内层的Key对应于columnName的值,所有抽取下来的信息按照被抽取到的先后顺序存放在Vector<String>中,但是并不是在xml描述文档中的所有columnName都会在HashMap中,如果没有和columnName对应的数据被抽取下来,那么该columnName不会出现在HashMap中。
posted on 2012-02-04 22:12 zhou518zhou 阅读(1259) 评论(0) 编辑 收藏 举报