Java爬虫项目实战（一）

主网站链接：

           http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2015/index.html

主要jar包：              

          http://jsoup.org/packages/jsoup-1.8.1.jar

 之前一节我们说过java爬虫从网络上利用jsoup获取网页文本，也就是说我们可以有三种方法获取html，一是根据url链接，二是从本地路径获取，三是通过字符串解析成html文档

在这里，我们利用前两种搭配使用：

  先看本地是否存在需要的网页，如果不存在就通过url获取并保存在本地（下次就可以不需要重新从网络加载）

访问链接看到我们的网站是这样的：

利用谷歌浏览右键检查元素，我们注意观察黄色标记的部分：

     

 

 

我们新建一个类，具体内容如下：

//根据url获取数据
    public Document getHtmlTextByUrl(String url){
        Document document=null;
        try{
            int i=(int)(Math.random()*1000);////做一个随机延时，防止网站屏蔽
            while (i!=0) {
                i--;
            }
            document=Jsoup.connect(url)
                        .data("query","Java")
                        .userAgent("Mozilla")
                        .cookie("auth", "token")
                        .timeout(300000).post();
        }catch(Exception e){
            e.printStackTrace();
            try{
                document=Jsoup.connect(url).timeout(5000000).get();
            }catch(Exception e1){
                e1.printStackTrace();
            }
        }
        return document;
    }
    
    //根据元素属性获取某个元素内的elements列表
    public Elements getElementByClass(Document document,String className){
        Elements elements=null;
        elements=document.select(className);
        return elements;
    }
    
    public ArrayList getProvice(String url,String type){
        ArrayList result=new ArrayList();
        String classtype="."+type;
        //从网络上获取网页
        Document document=getHtmlTextByUrl(url);
        if (document!=null) {
            Elements elements=getElementByClass(document,classtype);// tr的集合
            for(Element e:elements){// 依次循环每个元素，也就是一个tr
                if(e!=null){
                    for(Element ec:e.children()){// 一个tr的子元素td，td内包含a标签
                        String[] prv = new String[4];
                        if(ec.children().first()!=null){
                            prv[0]=url;// 原来的url
                            prv[1]=ec.children().first().ownText();
                            System.out.println(prv[1]);//身份名称
                            
                            String ownurl=ec.children().first().attr("abs:href");
                            prv[2]=ownurl;
                            System.out.println(prv[2]);
                            
                            prv[3]=type;
                            result.add(prv);
                        }
                    }
                }
            }
        }
        return result;
    }
    
    public static void main(String[] args) {
        String url="http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2015/index.html";
        String type="provincetr";
        System.out.println(new Html().getProvice(url, type));
    }