Java爬取网站数据以及工具类

废话不多说直接上代码：（亲测可用）

package plugins.timer.surfacewater;

import java.io.BufferedReader;
import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.List;

import org.xml.sax.SAXException;
import plugins.timer.station.SurfaceWaterModel;

public class JSUtil {

    // 如果要更换运行环境，请注意exePath最后的phantom.exe需要更改。因为这个只能在window版本上运行。前面的路径名
            // 也需要和exePath里面的保持一致。否则无法调用
            private static String projectPath = System.getProperty("catalina.home");
            private static String jsPath = projectPath +  File.separator+ "webapps"+File.separator+"syads"+File.separator+"huicong.js";
            private static String exePath = projectPath +  File.separator+"webapps"+File.separator+"syads"+File.separator+ "phantomjs"
                    + File.separator + "bin" + File.separator + "phantomjs.exe";
            /*private static String projectPath = System.getProperty("user.dir");
            private static String jsPath = projectPath + File.separator+"WebRoot"+File.separator+"huicong.js";
            private static String exePath = projectPath +File.separator+"WebRoot"+File.separator+ "phantomjs"
                    + File.separator + "bin" + File.separator + "phantomjs.exe";*/

    
     32     public String JSUtil() throws IOException, SAXException {

        // 测试调用,传入url即可,第二个参数是要读取的字节数
        String str = getParseredHtml2("http://123.127.175.45:8082/",30000);
        
        System.out.println("str:"+str);
        return str;
        
        
    }

    // 调用phantomjs程序，并传入js文件，并通过流拿回需要的数据。
    public static String getParseredHtml2(String url,int num) throws IOException {
        Runtime rt = Runtime.getRuntime();
        Process p = rt.exec(exePath + " " + jsPath + " " + url);
        InputStream is = p.getInputStream();
        BufferedReader br = new BufferedReader(new InputStreamReader(is,"utf-8"));
        StringBuffer sbf = new StringBuffer();
        String tmp = "";
        while ((tmp = br.readLine()) != null) {
            sbf.append(tmp);
        }
        System.out.println("sbf:"+sbf);
        //得到整个网页的字符串
        String tableStr = sbf.toString();
        return tableStr;
    }
    /**
     * 返回给定地址中的数据
     * @param url
     * @return
     */
    public static String getData(String url){
        int start = url.indexOf("%\">")+3;
        int end = url.indexOf("<",start);
        return url.substring(start,end);
    }

}

   注意：

• 程序中需要用到两个工具，分别是huicong.js和phantomjs.exe。这两个工具我已经打包放到了百度云盘里：

  微信关注公众号“姓氏头像宝典”，回复爬虫即可

• syads是我的项目名称
• http://123.127.175.45:8082/是测试的网站
• 30000是指爬取的字节数