网页信息抓取进阶 支持Js生成数据 Jsoup的不足之处

今天又遇到一个网页数据抓取的任务，给大家分享下。

说道网页信息抓取，相信Jsoup基本是首选的工具，完全的类jQuery操作，让人感觉很舒服。但是，今天我们就要说一说Jsoup的不足。

1、首先我们新建一个页面

 

[html] view plain copy
 
 在CODE上查看代码片派生到我的代码片
  1. <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">  
  2. <html>  
  3.     <head>  
  4.         <title>main.html</title>  
  5.   
  6.         <meta http-equiv="keywords" content="keyword1,keyword2,keyword3">  
  7.         <meta http-equiv="description" content="this is my page">  
  8.         <meta http-equiv="content-type" content="text/html; charset=UTF-8">  
  9.     <style type="text/css">  
  10.         a {  
  11.             line-height: 30px;  
  12.             margin: 20px;  
  13.         }  
  14.       
  15.     </style>  
  16.         <!--<link rel="stylesheet" type="text/css" href="./styles.css">-->  
  17.         <script type="text/javascript">  
  18.   
  19. var datas = [ {  
  20.     href : "http://news.qq.com/a/20140416/017800.htm",  
  21.     title : "高校一保安长相酷似作家莫言"  
  22. }, {  
  23.     href : "http://news.qq.com/a/20140416/015167.htm",  
  24.     title : "男子单臂托举悬空女半小时"  
  25. }, {  
  26.     href : "http://news.qq.com/a/20140416/013808.htm",  
  27.     title : "女子上门讨房租遭强奸拍裸照"  
  28. }, {  
  29.     href : "http://news.qq.com/a/20140416/016805.htm",  
  30.     title : "澳洲骆驼爱喝冰镇啤酒解暑"  
  31. } ];  
  32.   
  33. window.onload = function() {  
  34.     var infos = document.getElementById("infos");  
  35.     for( var i = 0 ; i < datas.length ; i++)  
  36.         {  
  37.             var a = document.createElement("a");  
  38.             a.href = datas[i].href ;  
  39.             a.innerText = datas[i].title;  
  40.             infos.appendChild(a);     
  41.             infos.appendChild(document.createElement("br"))  
  42.         }  
  43. }  
  44. </script>  
  45.     </head>  
  46.   
  47.     <body>  
  48.         Hello Main HttpUnit!  
  49.         <br>  
  50.   
  51.         <div id="infos"  
  52.             style="width: 60%; border: 1px solid green; border-radius: 10px; margin: 0 auto;">  
  53.         </div>  
  54.   
  55.     </body>  
  56. </html>  

页面上观察是这样显示的：

 

我们审查元素：

如果你看到这样的页面，你会觉得拿Jsoup来抓取，简直就是呵呵，小菜一叠，于是我们写了这样的代码：

 

[java] view plain copy
 
 在CODE上查看代码片派生到我的代码片
  1.       @Test  
  2. ublic void testUserJsoup() {  
  3. try {  
  4.     Document doc = Jsoup.connect(  
  5.             "http://localhost:8080/strurts2fileupload/main.html")  
  6.             .timeout(5000).get();  
  7.     Elements links = doc.body().getElementsByTag("a");  
  8.     for (Element link : links) {  
  9.         System.out.println(link.text() + " " + link.attr("href"));  
  10.     }  
  11. } catch (IOException e) {  
  12.     e.printStackTrace();  
  13. }  

你会觉得就这几行代码，轻轻松松搞定，快快乐乐下班。于是运行发现，其实什么的抓取不到。

 

于是我们再回到页面，打开页面源代码，也就是上面的HTML代码，你恍然大悟，我靠，body里面根本没有数据，难怪抓不到。这就是Jsoup的不足，如果Jsoup去抓取的页面的数据，全都是页面加载完成后，ajax获取形成的，是抓取不到的。

下面给大家推荐另一个开源项目：HttpUnit，看名字是用于测试的，但是用来抓取数据也不错

我们开始编写类似Jsoup的代码：

 

[java] view plain copy
 
 在CODE上查看代码片派生到我的代码片
  1.       @Test  
  2. public void testUserHttpUnit() throws FailingHttpStatusCodeException,  
  3.         MalformedURLException, IOException {  
  4.   
  5.     /** HtmlUnit请求web页面 */  
  6.     WebClient wc = new WebClient(BrowserVersion.CHROME);  
  7.     wc.getOptions().setUseInsecureSSL(true);  
  8.     wc.getOptions().setJavaScriptEnabled(true); // 启用JS解释器，默认为true  
  9.     wc.getOptions().setCssEnabled(false); // 禁用css支持  
  10.     wc.getOptions().setThrowExceptionOnScriptError(false); // js运行错误时，是否抛出异常  
  11.     wc.getOptions().setTimeout(100000); // 设置连接超时时间 ，这里是10S。如果为0，则无限期等待  
  12.     wc.getOptions().setDoNotTrackEnabled(false);  
  13.     HtmlPage page = wc  
  14.             .getPage("http://localhost:8080/strurts2fileupload/main.html");  
  15.   
  16.     DomNodeList<DomElement> links = page.getElementsByTagName("a");  
  17.   
  18.     for (DomElement link : links) {  
  19.         System.out  
  20.                 .println(link.asText() + "  " + link.getAttribute("href"));  
  21.     }  
  22. }  

再看一下运行结果：

 

完美解决，HttpUnit其实就相当于一个没有UI的浏览器，它可以让页面上的js执行完成后，再抓取信息，具体的介绍，google一下就行。主要给大家介绍一种方案！

posted on 2016-04-21 10:02  我是齐欢  阅读(258)  评论(0)  编辑  收藏  举报

Powered by: 博客园 Copyright © 2024 我是齐欢
Powered by .NET 9.0 on Kubernetes