基于Jsoup实现的简单爬虫

Jsoup 概念

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

其实在这之前我解析Html一直都是使用HtmlPaser来做，在我第一次看到Jsoup的时候，我就在思考Jsoup的存在意义，既然已经有htmlPaser为什么还会Jsoup出现。经过自己动手试验了一下，我感觉到了Jsoup的魅力。

• 首先是更新频率，Htmlpaser早在06年就停止更新了，这十年间互联网技术的变化不可谓不大，htmlpaser或许现在还能勉强使用，但不保证下一刻啊。Jsoup到目前为止还在继续更新，作为一个比Htmlpaser年轻的Html解释器，或许还有很多地方不足，但在持续更新下终究会得到解决。
• 然后是实现原理， htmlpaser是基于fileter进行解析，有些类似对字符串进行正则匹配的方式进行获取。或许是我对htmlpaser还不够熟悉，在一个Paser对象进行pase一次后该paser对象将不可再使用。然而Jsoup却使用了一套自建的Dom结构，该DOM结构就是一个树形数据结构。相比htmlPaser在使用filter转换一次后将不可再次使用的问题，jsoup完全不存在这个问题，在使用getElement*方法后仅仅是获取其子树或者叶子，对原有的树并未做出任何改变。
• 然后是使用方法，而如果需要获取其子节点要么使用filter一步到位，要么就只能根据子节点层次遍历。这种不灵活的节点获取方式造成了很多垃圾代码，也使程序变得十分脆弱。然而Jsoup却使用了一套自建的Dom结构，几乎兼容javascript的dom操作方式，即可取值也可设置。更加需要说明的是jsoup有着类似jquery的dom操作方式，我相信现在绝大多数猿们都会使用jquery，这也是最吸引我的一点。

Jsoup的SSL扩展

现在很多站点都是SSL对数据传输进行加密，这也让普通的HttpConnection无法正常的获取该页面的内容，而Jsoup本身也对次没有做出相应的处理，只是留下来了一个粗糙的使用证书配置什么的方法进行解决。想了一下是否可以让Jsoup可以识别所有的SSL加密过的页面，查询了一些资料，发现可以为本地HttpsURLConnection配置一个“万能证书”，其原理是就是：

• 重置HttpsURLConnection的DefaultHostnameVerifier，使其对任意站点进行验证时都返回true
• 重置httpsURLConnection的DefaultSSLSocketFactory， 使其生成随机证书

代码实现

爬虫代码示例

package org.hanmeis.common.html;

import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.FileWriter;
import java.io.IOException;
import java.net.URL;
import java.util.LinkedList;
import java.util.List;

/**
 * Created by zhao.wu on 2016/12/2.
 * 该爬虫用于爬去奇书网的玄幻小说类表
 */
public class QiShuuListSpider {
    //用于保存小说信息的列表
    static List<NovelDir> novelDirs = new LinkedList<>();

    public static void main(String[] args) throws IOException {
        //解析过程
        URL index = new URL("http://www.qisuu.com/soft/sort02/");
        parsePage(index);

        //将信息存档
        FileWriter writer = new FileWriter("qishu.txt");
        for (NovelDir novelDir : novelDirs) {
            writer.write(novelDir.toString());
        }
        writer.close();
    }

    static void parsePage(URL url){
        try {
             //使用Jsoup的解析方法进行填装Dom
            Document doc = Jsoups.parse(url, 1000);

            //获取小说列表
            Elements novelList = doc.select(".listBox li");
            for (Element element : novelList) {
                NovelDir dir = new NovelDir();

                //获取小说作者
                Element authorElement = element.select(".s a").first();
                if(authorElement!=null) {
                    dir.setAuthor(authorElement.html());
                }

                //获取小说描述
                Element descriElement = element.select(".u").first();
                if(descriElement!=null) {
                    dir.setDescription(descriElement.html());
                }

                //获取标题、目录地址和封面
                Element titleElement = element.select("a").last();
                if(titleElement!=null) {
                    dir.setTitle(titleElement.html());
                    dir.setIndexUrl(titleElement.attr("abs:href"));
                    Element imageElement = titleElement.select("img").first();
                    if(imageElement!=null) {
                        dir.setHeadPic(imageElement.attr("src"));
                    }
                }
                System.out.println(dir);
                novelDirs.add(dir);
            }

            //获取下一页的地址，并进行请求
            Elements pageDiv = doc.select(".tspage a");
            for (Element element : pageDiv) {
                if(element.html().equals("下一页")){

                    //使用“abs:href"获取该页面的绝对地址
                    String path = element.attr("abs:href");

                    //由于该站点做了请求频率限制，过快的请求会遭到暂时屏蔽，所以要细水长流的的慢慢请求
                    Thread.sleep(2000);
                    parsePage(new URL(path));
                }
            }
        } catch (IOException e) {
            System.out.println(url);
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }
    /**
     * 小说MATE数据对象
     */
    static class NovelDir{
        //封面
        private String headPic;
        //作者
        private String author;
        //标题
        private String title;
        //目录地址
        private String indexUrl;
        //大概描述
        private String description;

        //getter, setter toString
    }
}

SSL扩展代码

package org.hanmeis.common.html;

import org.jsoup.Connection;
import org.jsoup.helper.HttpConnection;
import org.jsoup.nodes.Document;

import javax.net.ssl.*;
import java.io.IOException;
import java.net.URL;
import java.security.SecureRandom;
import java.security.cert.CertificateException;
import java.security.cert.X509Certificate;
/**
 * Created by zhao.wu on 2016/11/29.
 */
public class Jsoups{
    static{
        try {
            //重置HttpsURLConnection的DefaultHostnameVerifier，使其对任意站点进行验证时都返回true
            HttpsURLConnection.setDefaultHostnameVerifier(new HostnameVerifier() {
                public boolean verify(String hostname, SSLSession session) {
                    return true;
                }
            });

            //创建随机证书生成工厂
            SSLContext context = SSLContext.getInstance("TLS");
            context.init(null, new X509TrustManager[] { new X509TrustManager() {
                public void checkClientTrusted(X509Certificate[] chain, String authType) throws CertificateException {
                }

                public void checkServerTrusted(X509Certificate[] chain, String authType) throws CertificateException {
                }

                public X509Certificate[] getAcceptedIssuers() {
                    return new X509Certificate[0];
                }
            } }, new SecureRandom());

            //重置httpsURLConnection的DefaultSSLSocketFactory， 使其生成随机证书
            HttpsURLConnection.setDefaultSSLSocketFactory(context.getSocketFactory());
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    /**
     * 使用ssl的方式去获取远程html的dom， 
     * 该方法在功能上与Jsoup本身的转换工具一样，
     * 仅仅是用来告诉代码阅读者这个方法已经对SSL进行了扩展
     * @param url 需要转换的页面地址
     * @param timeoutMillis 请求超市时间
     * @return 该页面的dom树
     * @throws IOException 请求异常或者转换异常时抛出
     */
    public static Document parse(URL url, int timeoutMillis) throws IOException {
        Connection con = HttpConnection.connect(url);
        con.timeout(timeoutMillis);
        return con.get();
    }   
}