HTML抽取工具Jsoup

Jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。当前版本为1.7.1。

 

jsoup的主要功能如下：

1. 从一个URL，文件或字符串中解析HTML；

2. 使用DOM或CSS选择器来查找、取出数据；

3. 可操作HTML元素、属性、文本；

Jsoup官方网站：http://jsoup.org/.可以通过其给出的学习资料http://jsoup.org/cookbook/和它的API进行学习http://jsoup.org/apidocs/.

经过翻译的中文资料不妨参考http://www.open-open.com/jsoup/，这些都是学习Jsoup的好材料。

图所示是Jsoup包结构，Jsoup首先将一个Html文档或者Html片段解析成DOM结构，Html上的每一个元素都对应于DOM中的一个节点node。因此，可通过 DOM，CSS 以及类似于 jQuery 的操作方法来取出和操作数据。

例如，以下是一个Jsoup抽取Web页面的例子：

import java.net.URL;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupTest 
{

    public static void main(String[] args) throws Exception
    {
        URL url = new URL("http://www.guet.edu.cn"); //连接一个页面
        Document doc = Jsoup.parse(url, 3 * 1000);   //解析获取Document对象

        Elements test = doc.select("a"); //获取页面上所有的a元素
        for (Element element : test) 
        {
            //element.outerHtml() 和  element.toString()效果一样
            System.out.println("链接源代码：" + element.outerHtml());
            System.out.println("链接地址：" + element.attr("href") + "  链接文本："
                    + element.text()+" next sbl:"+element.nextSibling().nodeName());
            ;
        }

    }
}

至于如何获取一个HTML文档的页面所有文本内容，不妨使用上面的例子作如下修改：

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.nodes.Node;
import org.jsoup.select.Elements;


public class LoadDocument
{

    public static void main(String[] args) throws Exception
    {
        Document doc = Jsoup.connect("http://Jsoup.org").get(); 
        String title = doc.title();
        
        System.out.println("文档的Html内容：");
        System.out.println(doc.html());
        
        System.out.println("文本内容为：");
        System.out.println(doc.text());
    }
}

结果如下图：

 

通过Jsoup，可以较为方便的抽取页面上的内容，更为方便的是《Use selector-syntax to find elements》可以制定抽取规则，抽取页面上的目标信息节点。

例如：

import java.io.File;
import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;


public class Use_selector_syntax_find_elements {


    public static void main(String[] args) throws IOException
    {
        //File input = new File("http://www.hao123.com//index.html");
        Document doc = Jsoup.connect("http://www.hao123.com/index.htm").get();
        //Document doc = Jsoup.parse(input, "gb2312","");
        
        System.out.println("-----------------------------------------------");
        System.out.println(doc);
        System.out.println("-----------------------------------------------");
        paser(doc);
    }
    
    public static void paser(Document doc)
    {
        Elements links = doc.select("a[href]"); // a with href 
        Elements pngs = doc.select("img[src$=.png]");  // img with src ending .png 
        Element masthead = doc.select("div.masthead").first();   // div with class=masthead 
        Elements resultLinks = doc.select("h3.r > a"); // direct a after h3
        
        System.err.print(links);
        System.out.println("+++++++++++++++++++++++++++++++++++++++++++++++");
        
    }
}

Jsoup功能同HtmlParser，但却比Htmlparser更为方便，API更加简洁。