Webcollector应用（二）

　　先吐槽一句哀家的人品，总在写好代码之后，网站默默的升级，没有一点点防备...

一、加代理

　　爬取一个网站的时候，爬了不到一半，IP被封了，整个内部局域网的所有电脑都不能访问网站了。

public class CrawlTong  extends DeepCrawler{
    JdbcTemplate jdbcTemplate = JDBCBase.getInstance().getTemplete2();
    protected HttpRequesterImpl requester=(HttpRequesterImpl)this.getHttpRequester();//③
    public final static String name = "name";   
    public final static String password = "password";
    public final static  String headerKey = "Proxy-Authorization";  
    public final static String headerValue = "Basic " + Base64.encode((name + ":" + password).getBytes());
    public final static int port = 50000;  
    public final static String[] proxys = { 
            "***.***.***.***",
            "***.***.***.***",
            "***.***.***.***"};
    public CrawlTong(String crawlPath ,int useProxy){       // ①
        super(crawlPath);
        if(useProxy == 1) {
            requester.setHeader(ProxyCollector.headerKey, ProxyCollector.headerValue);//④   
            //多代理随机
            RandomProxyGenerator proxyGenerator = new RandomProxyGenerator(); // ⑤
            for (String proxy : proxys) {
                proxyGenerator.addProxy(proxy,port); // ⑥
            }
            requester.setProxyGenerator(proxyGenerator); // ⑧
        }
    }
 public static void main(String[] args) throws Exception{
        CrawlTong crawler = new CrawlTong("/tong",1); // ②
        crawler.addSeed("https://www.tzg.cn/");
        crawler.start(1);
    }
}

 　 还是以应用（一）中的代码为例，可以在构造函数中添加代理：

　　① 在原来的基础添加了一个int型的useProxy参数，如果为1则用代理，不想用可以设置其他值

　　② 主函数中调用

　　③ 得到当前的请求requester，HttpRequesterImpl类型

　　④ 设置请求的Header信息，key值是"Proxy-Authorization"，value值是以代理服务器的用户名和密码构成的字符串

　　⑤ 创建一个RandomProxyGenerator类型的对象proxyGenerator，这个类是Webcollector提供的，可以随机切换代理

　　⑥  把事先定义好的代理服务器IP和端口依次放入到代理生成器中

　　⑧ 调用requster的setProxyGenerator方法，代理生成器传进去

　　为虾米没有圈7呢，因为我打不出来........

　　在我写这篇blog的时候，又一件积攒人品的事情发生了，哈哈哈，我这些代理服务器也被封了呢......

　　要考虑增加些sleep了...... 

二、解析json

　　很多页面将数据存储到单独的json文件中，所以要拿到数据，就需要对其进行解析。

　　解析json本身与Webcollector没什么多大关系，用java自己的方法。　　

  public Links visitAndGetNextLinks(Page page) {
        String jsonStr = page.getHtml();
        JSONObject json = null;
        json = new JSONObject(jsonStr);
        System.out.println(jsonStr);   //①
        System.out.println(json);    //②
        JSONObject msg=json.getJSONObject("msg"); //③
        System.out.println(msg);
        int total = msg.getInt("total");
        JSONArray projectData = msg.getJSONArray("projectData"); //④
        System.out.println(total);
        System.out.println(projectData);
        for(int i = 0 ;i<projectData.length();i++){  // ⑤
            JSONObject object = projectData.getJSONObject(i);
            dataModel = new DataModel();
            dataModel.setNumber(object.getString("thousandearnings"));
            dataModel.setFlag(object.getInt("remain_percent"));
            System.out.println(object.getString("thousandearnings"));
            System.out.println(object.getInt("remain_percent"));
        }
        return null;
    }

　　需要引入需要的包 import org.json.JSONArray; import org.json.JSONObject;....

　　① 和 ② 打印出来看似没有什么区别，但是呢一个是String类型，一个是Json类型，可以调用的方法不一样。

　　③ 通过getJSONObject方法获取JSONObject对象

　　JSONObject类型：json串，最外层大括号

　　{"A":"aaa","B":"bbb","C":[{"C1":"c1c1c1","C2":"c2c2c2"},{"CC1":"cc1cc1cc1","CC2":"cc2cc2cc2"}]}

　　④ 通过getJSONArray方法获取JSONArray对象

　　JSONArray类型： 最外层是[]，里面包含json串

　　[{"C1":"c1c1c1","C2":"c2c2c2"},{"CC1":"cc1cc1cc1","CC2":"cc2cc2cc2"}]

　　⑤ 遍历JSONArray

　　总之：value值是什么类型的，就调用json相对应的方法获取即可