java爬虫（二）利用HttpClient和Jsoup库实现简单的Java爬虫程序

jsoup官方文档：https://www.open-open.com/jsoup/parsing-a-document.htm

一、jsoup简介

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

 

文档内容可知道，获取数据源的方法有三种：

 

（1）从一段html代码字符串获取：　　Document doc = Jsoup.parse(html);

（2）从一个url获取：　　　　　　　   Document doc = Jsoup.connect(url).get();

 

（3）从一个html文件获取　　　　　　File input = new File("XXX.html"); 或Document doc = Jsoup.parse(input, "UTF-8", url);

 

二、编码实践

0.导入jsoup.jar资源包

 

1.获取页面全部代码

每一个页面都有相关的前端内容，我们这里就是先分析相关页面的内容，然后根据标签来进行分别分类获取，然后利用java的其余技术来处理你获取的内容。

首先最基本的，获取页面的全部代码，包含HTML,CSS等内容，这里也以网络盗版小说网站为例子，进行相关的爬虫。

package pachong;
 
import java.io.IOException;
 
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
 
public class test{
    //第一个，完整爬虫爬下来内容
    public static void get_html(String url){
        try {
            Document doc = Jsoup.connect(url).get();
            System.out.println(doc);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    public static void main(String[] args) {
        String url = "http://news.tjut.edu.cn/yw.htm";    
        get_html(url);
    }
 
}

运行结果如下

 

 

2.用相关class、id、tag的方法解析我们需要的数据

方法总结：

①

②

③

 

 

package debug;


import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class test {
    //第一个，完整爬虫爬下来内容
    public static void get_html(String url){
        try {
            Document doc = Jsoup.connect(url).get();
            //得到html中id为content下的所有内容
            Element ele = doc.getElementById("line52564_20");
            //分离出下面的具体内容
            Elements tag = ele.getElementsByTag("td");
            System.out.println(tag);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    
    public static void main(String[] args) {
//        String url = "http://www.biquge5200.com/78_78387/149957687.html";
        String url = "http://news.tjut.edu.cn/yw.htm";
        
        get_html(url);
    }
 
}

输入如下：

 

 3.通过io操作获取到某个具体的值

本事例想要获取的是新闻网站中新闻的总条数

 

 代码如下

 

package debug;


import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class test {
    
//    实现切割某两个字之间的字符串
    public static String findstr(String str1,String strstrat,String strend ) {
        String finalstr=new String();
        int strStartIndex = str1.indexOf(strstrat);
        int strEndIndex = str1.indexOf(strend); 
        
        finalstr = str1.substring(strStartIndex, strEndIndex).substring(strstrat.length());
        
        
    return finalstr;
    }
    
    //第一个，完整爬虫爬下来内容
    public static void get_html(String url){
        try {
            Document doc = Jsoup.connect(url).get();
            //得到html中id为content下的所有内容
            Element ele = doc.getElementById("fanye52564");
            //分离出下面的具体内容
            Elements tag = ele.getElementsByTag("td");
            for(Element e : tag) {
                String title = e.getElementsByTag("td").text();
                String Totals=findstr(title,"共","条");
                System.out.println(Totals);
            }
            
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    
    public static void main(String[] args) {
        String url = "http://news.tjut.edu.cn/yw.htm";
        
        get_html(url);
    }
 
}


//参考文献https://blog.csdn.net/suqi356/article/details/78547137?depth_1-
//https://www.cnblogs.com/carlo/p/4717947.html

运行结果如下：

 

 

 

接口文档（https://jsoup.org/apidocs/overview-summary.html）也能搜到。

 

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

 

文档内容可知道，获取数据源的方法有三种：

 

（1）从一段html代码字符串获取：　　Document doc = Jsoup.parse(html);

（2）从一个url获取：　　　　　　　   Document doc = Jsoup.connect(url).get();

（3）从一个html文件获取　　　　　　File input = new File("XXX.html"); 或Document doc = Jsoup.parse(input, "UTF-8", url);

 

废话不说，进入正文。

 

每一个页面都有相关的前端内容，我们这里就是先分析相关页面的内容，然后根据标签来进行分别分类获取，然后利用java的其余技术来处理你获取的内容。

 

首先最基本的，获取页面的全部代码，包含HTML,CSS等内容，这里也以网络盗版小说网站为例子，进行相关的爬虫。

 

 

1.  
   package pachong;
2.  
    
3.  
   import java.io.IOException;
4.  
    
5.  
   import org.jsoup.Jsoup;
6.  
   import org.jsoup.nodes.Document;
7.  
    
8.  
   public class Test1 {
9.  
   //第一个，完整爬虫爬下来内容
10.  
    public static void get_html(String url){
11.  
    try {
12.  
    Document doc = Jsoup.connect(url).get();
13.  
    System.out.println(doc);
14.  
    } catch (IOException e) {
15.  
    e.printStackTrace();
16.  
    }
17.  
    }
18.  
    public static void main(String[] args) {
19.  
    String url = "http://www.biquge5200.com/78_78387/149957687.html";
20.  
    get_html(url);
21.  
    }
22.  
     
23.  
    }

输出的结果如下：

 

因为consle不能全部截图，我就截图了一部分，从这里就能看到完整的前端内容。

 

而我们只需要里面的小说内容，而对于什么样式，脚本等等之类的东西并不是我们需要的，于是我们先找到小说正文内容，根据正文内容来处理。

 

 

我们分析正文内容发现，正文内容全部是被一组id为content的div包含的，对于其他内容，我们并不需要，只需要id为content的div内容里的数据，于是我们能不能只要这里面的东西的。

 

而查询jsoup，我们发现确实是有相关获取class,id,tag的方法的，可以利用这些发现来获取我们需要的数据，于是第二个例子就出现了。

 

 

1.  
   package pachong;
2.  
    
3.  
   import java.io.IOException;
4.  
    
5.  
   import org.jsoup.Jsoup;
6.  
   import org.jsoup.nodes.Document;
7.  
   import org.jsoup.nodes.Element;
8.  
   import org.jsoup.select.Elements;
9.  
    
10.  
    public class Test2 {
11.  
    //第二个，选择内容爬下来
12.  
    public static void get_html(String url) {
13.  
    try {
14.  
    Document doc = Jsoup.connect(url).get();
15.  
    //得到html中id为content下的所有内容
16.  
    Element ele = doc.getElementById("content");
17.  
    //分离出下面的具体内容
18.  
    Elements tag = ele.getElementsByTag("div");
19.  
    System.out.println(tag);
20.  
    } catch (IOException e) {
21.  
    e.printStackTrace();
22.  
    }
23.  
    }
24.  
     
25.  
    public static void main(String[] args) {
26.  
    String url = "http://www.biquge5200.com/78_78387/149957687.html";
27.  
    get_html(url);
28.  
    }
29.  
    }

他的输出结果如下图：

 

 

 

我们发现最基本的内容我们已经拿到，现在就是需要对立面的内容来简单的处理一下。这就很简单了，转换成字符串类型的，利用字符串的相关方法来处理这个。

 

如果我们要导出来保存本地，就可以利用java的io来处理相关数据并保存。

 

1.  
   package pachong;
2.  
    
3.  
   import java.io.File;
4.  
   import java.io.FileWriter;
5.  
   import java.io.IOException;
6.  
    
7.  
   import org.jsoup.Jsoup;
8.  
   import org.jsoup.nodes.Document;
9.  
   import org.jsoup.nodes.Element;
10.  
    import org.jsoup.select.Elements;
11.  
     
12.  
    public class Test2 {
13.  
    //第二个，选择内容爬下来并保存到自己电脑
14.  
    public static void get_html(String url) {
15.  
    try {
16.  
    Document doc = Jsoup.connect(url).get();
17.  
    //得到html中id为content下的所有内容
18.  
    Element ele = doc.getElementById("content");
19.  
    //分离出下面的具体内容
20.  
    Elements tag = ele.getElementsByTag("div");
21.  
    //System.out.println(tag);
22.  
    String text = tag.text();
23.  
    //替换里面的空格为换行
24.  
    String needs = text.replace("　　", "\n");
25.  
    //得到整个html里面的tittle,方便爬虫下来的txt命名文件名
26.  
    Elements titlehtml = doc.getElementsByTag("title");
27.  
    String tittle = titlehtml.text();
28.  
    //去掉多余的txt文件命名的文字
29.  
    String head=tittle.substring(0,tittle.length()-7);
30.  
    File file = new File("D:\\"+head+".txt");
31.  
    FileWriter fw = new FileWriter(file);
32.  
    fw.write(needs);
33.  
    fw.close();
34.  
    } catch (IOException e) {
35.  
    e.printStackTrace();
36.  
    }
37.  
    }
38.  
     
39.  
    public static void main(String[] args) {
40.  
    String url = "http://www.biquge5200.com/78_78387/149957687.html";
41.  
    get_html(url);
42.  
    }
43.  
    }

 

那上面只是简单的一篇小说，如果我们想把全本小说全部下载到我们的电脑里并保存下来，那又如何处理呢？

 

我们先看看整个目录的小说里对前端内容的分析，我们发现，其实每个章节的内容都在一个id为list的div下，那面根据上面的经验来说，我们就拿list来获取。

 

然后获取到后，我们根据超链接标签a来遍历，获取到数据后，在循环里打开页面，然后爬虫下载下来就可以了。

 

 

1.  
   package pachong;
2.  
    
3.  
   import java.io.File;
4.  
   import java.io.FileWriter;
5.  
   import java.io.IOException;
6.  
    
7.  
   import org.jsoup.Jsoup;
8.  
   import org.jsoup.nodes.Document;
9.  
   import org.jsoup.nodes.Element;
10.  
    import org.jsoup.select.Elements;
11.  
     
12.  
    public class Test3 {
13.  
    //第三个，批量选择内容爬下来并保存到自己电脑
14.  
    public static void get_html(String url) {
15.  
    try {
16.  
    //模仿浏览器访问
17.  
    Document doc = Jsoup.connect(url)
18.  
    .userAgent("Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; MALC)")
19.  
    .timeout(999999999)
20.  
    .get();
21.  
    //得到html中id为list下的所有内容
22.  
    Element ele = doc.getElementById("list");
23.  
    //得到html中id为list下,同时标签为a的下面数据
24.  
    Elements tag = ele.getElementsByTag("a");
25.  
    String taghref, tagtext;
26.  
    for (int i = 9; i < tag.size(); i++) {
27.  
    try {
28.  
    //当前循环时间睡眠为10
29.  
    Thread.currentThread().sleep(5000);
30.  
    taghref = tag.get(i).attr("href");
31.  
    tagtext = tag.get(i).text();
32.  
    Document docs = Jsoup.connect(taghref)
33.  
    .userAgent("Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; MALC)")
34.  
    .timeout(999999999)
35.  
    .get();
36.  
    Element eles = docs.getElementById("content");
37.  
    Elements tags = eles.getElementsByTag("div");
38.  
    String texts = tags.text().replace("　　", "\r\n\r\n");
39.  
    String tittle = docs.getElementsByTag("title").text();
40.  
    String head = tittle.substring(0, tittle.length() - 7);
41.  
    File file = new File("D:\\Desktop\\hanxiang\\" + head + ".txt");
42.  
    FileWriter fw = new FileWriter(file);
43.  
    fw.write(texts);
44.  
    fw.close();
45.  
    } catch (Exception e) {
46.  
    e.printStackTrace();
47.  
    }
48.  
    }
49.  
     
50.  
    } catch (IOException e) {
51.  
    e.printStackTrace();
52.  
    }
53.  
    }
54.  
     
55.  
    public static void main(String[] args) {
56.  
    String url = "http://www.biquge5200.com/78_78387/";
57.  
    get_html(url);
58.  
    }
59.  
    }

 

 

这里有几个地方解释：
1.先说.userAgent("Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; MALC)").timeout(999999999)
           .userAgent表示是模拟自己是浏览器访问，防止反爬虫网站对爬虫程序的禁止访问；
           .timeout(999999999)个人理解是延时访问，也是防止反爬虫网站对爬虫程序的禁止访问；

2.为何循环从9开始，而不是从0或者1开始呢？
           因为我们看小说章节目录发现，前面九章是最新更新的九章，而这九章我们并不需要，因为我们后面的循环可以抓到最后的九章，所以从9开始，或者在循环结束那减去9也可以的。因人而异。

3.为何要写个Thread.currentThread().sleep(5000);来对循环睡眠：
            因为你频繁访问，哪怕你伪装成浏览器，还是会对服务器性能等方面造成影响，服务器会对这种连接拒绝，而睡眠线程，这样的话，就模拟一个人正在浏览小说，5秒看完一篇小说是比较很正常的，这样，你才能把上百上千的小说下载下来。