使用JRegex抽取网页信息
当网络爬虫将网页下载到磁盘上以后，需要对这些网页中的内容进行抽取，为索引做准备。一个网页中的数据大部分是HTML标签，索引肯定不会去索引这些标签。也就是说，这种信息是没有用处的信息，需要在抽取过程中过滤掉。另外，一个网页中一般会存在广告信息、锚文本信息，还有一些我们不感兴趣的信息，都被视为垃圾信息，如果不加考虑这些内容，抽取出来的信息不仅占用存储空间，而且在索引以后，为终端用户提供检索服务，用户检会索到很多无用的垃圾信息，势必影响用户的体验。
这里，针对论坛，采用配置模板的方式来实现信息的抽取。使用的工具可以到http://jregex.sourceforge.net上下载，JRegex是一个基于Java的正则库，可以通过在正则模板中指定待抽取信息的变量，在抽取过程中会将抽取到的信息赋给该变量，从而得到感兴趣的信息。而且，JRegex库支持多级分组匹配。
为了直观，假设，有一个论坛的一个网页的源代码形如：
<a id="anchor">标题</a>
<cont>
<author>a1</author>
<time>2009</time>
<post>p1</post>
<author>a2</author>
<time>2008</time>
<post>p2</post>
<author>a3</author>
<time>2007</time>
<post>p3</post>
<author>a4</author>
<time>2006</time>
<post>p4</post>
<author>2005</author>
<time>t5</time>
<post>p5</post>
</cont>
将该网页代码文件保存为bbsPage.txt文件，准备进行处理。
现在，我们的目标是抽取标题、作者、时间、内容这些内容，当然，标题完全可以从TITLE标签中获得，但是一般网站的一个网页，会在标题文本的后面加上一些目录或者网站名称的信息，例如一个标题为“品味北京奥运中心_奥运加油站_我行我摄_XXX社区_XXX社区是最活跃的社区之一”，一些垃圾信息占了标题的大部分，所以我们不从TITLE标签中抽取标题。
接着，针对上面的网页文件创建信息抽取的正则模板，如下所示：
(?s)<a\sid="anchor">({title}.{1,100}?)\s*(.{1,10240}?)({name}.{1,100}?)\s*<time>({when}.{1,100}?)</time>\s*({content}.{1,100}?)
第一部分为(?s)<a\sid=”anchor”>({title}.{1,100}?)\s*(.{1,10240}?)，包含两个组，第一个组名称为title，直接能够抽取到网页的标题文本，并存储到变量title中；而第二个组没有指定组的名称，表示在后面还存在子组，在子组中继续进行抽取。
第二部分为({name}.{1,100}?)\s*({when}.{1,100}?)\s* ({content}.{1,100}?)，恰好是父组中未指定组名称的第二个组内中的一个循环。
上面两个模板之间使用一个空格字符隔开，保存到pattern.txt文件中。
可能，你已经观察到了，网页的标题只有一个，而对其他的信息正好能够构成一个循环组，单独从父组中分离出来继续进行抽取，结构很整齐。所以，在使用JRegex库进行编码抽取的时候，主要就是针对两个组进行的。
我基于上面思想和数据，实现了信息的抽取。
首先定义了一个键值对实体类，使用泛型，如下所示：
package org.shirdrn.test;
public class Pair<K, V> {
private K key;
private V value;
public Pair(K key, V value) {
this.key = key;
this.value = value;
}
public K getKey() {
return key;
}
public void setKey(K key) {
this.key = key;
}
public V getValue() {
return value;
}
public void setValue(V value) {
this.value = value;
}
}
进行信息抽取的核心类为InfomationExtraction，如下所示：
package org.shirdrn.test;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.List;
import jregex.Matcher;
import jregex.Pattern;
public class InfomationExtraction {
private String htmlString;
private String patternString;
private List<Pair<String, String>> dataList = new ArrayList<Pair<String, String>>();
public InfomationExtraction() {
}
public InfomationExtraction(String htmlFileName, String patternFileName) {
this.htmlString = this.readString(htmlFileName);
this.patternString = this.readString(patternFileName);
}
public Pattern[] getPatternArray() {
Pattern[] pa = new Pattern[2];
String[] psa = this.patternString.split(" ");
for (int i = 0; i < psa.length; i++) {
Pattern p = new Pattern(psa[i]);
pa[i] = p;
}
return pa;
}
public void extract(Integer sgIndex) { // 指定父组中第sgIndex个组需要在子组中继续进行抽取
Pattern[] pa = this.getPatternArray();
Pattern pBase = pa[0];
Matcher mBase = pBase.matcher(this.htmlString);
if (mBase.find()) {
for (int i = 0; i < mBase.groupCount(); i++) {
String gn = pBase.groupName(i);
if (gn != null) {
String gv = mBase.group(i);
this.dataList.add(new Pair<String, String>(gn, gv));
}
}
String subText = mBase.group(sgIndex);
if (subText != null) {
this.dataList.addAll(this.getSubGroupDataList(pa, subText)); // 调用使用子组正则模板进行抽取的方法
}
}
}
public List<Pair<String, String>> getSubGroupDataList(Pattern[] pa, String subText) { // 使用子组正则模板进行抽取
List<Pair<String, String>> list = new ArrayList<Pair<String, String>>();
for (int i = 1; i < pa.length; i++) {
Pattern subp = pa[i];
Matcher subm = subp.matcher(subText);
while (subm.find()) {
for (int k = 0; k < subm.groupCount(); k++) {
String gn = subp.groupName(k);
if (gn != null) {
String gv = subm.group(k);
list.add(new Pair<String, String>(gn, gv));
}
}
}
}
return list;
}
public String readString(String fileName) {
InputStream in = this.getClass().getResourceAsStream("/" + fileName);
BufferedReader reader = new BufferedReader(new InputStreamReader(in));
StringBuffer sb = new StringBuffer();
String line = null;
try {
while ((line = reader.readLine()) != null) {
sb.append(line);
}
} catch (IOException e) {
e.printStackTrace();
}
return sb.toString();
}
public List<Pair<String, String>> getDataList() {
return this.dataList;
}
public static void main(String[] args) {
InfomationExtraction ie = new InfomationExtraction("bbsPage.txt", "pattern.txt");
ie.extract(2);
for (Pair<String, String> p : ie.getDataList()) {
System.out.println("[" + p.getKey() + " " + p.getValue() + "]");
}
}
}
测试一下，如下所示：
[title 标题] [name a1] [when 2009] [content p1] [name a2] [when 2008] [content p2] [name a3] [when 2007] [content p3] [name a4] [when 2006] [content p4] [name 2005] [when t5] [content p5]
至于如何组织抽取到的信息，比如你可能使用Lucene的索引，需要构造Field和Document，那么你就要设计一个实体能够包含一个Document的所有的Field，比如一个Document包括：URL、标题、作者、发表时间、发表内容这五个项，非常容易就能做到。
使用JRegex库，可以非常灵活地配置模板，尤其是对多个组的设计，这要根据你的需要来考虑。
原文声明如下：本文基于署名-非商业性使用-相同方式共享 4.0许可协议发布，欢迎转载、使用、重新发布，但务必保留文章署名时延军（包含链接：http://shiyanjun.cn），不得用于商业目的，基于本文修改后的作品务必以相同的许可发布。如有任何疑问，请与我联系。
