urconnection下载网页源码 ----java基础爬虫

关于下载网页源码再来解析，这是一套简单的java爬虫

这里简单说说网页的下载。

　　其实用很多方法，比较好用的有httpclient。但是原理都是从URLConnection这里衍生来的。所以这先讲讲URLConnection下载网页源码的方式。

　　这个下载其实方法不难，难的是如何寻找到合适的编码。如果编码不对的话，中文容易造成乱码的情况。那么，有什么方法？

方法一：

　　从http返回的响应头获取。在使用urlconnection链接后，会有一个响应头返回如连接 ：https://www.w3school.com.cn/，这里的响应头没有给出编码集，

 

如果连接:https://i-beta.cnblogs.com,所以这是一种方法，

 

 方法二：

 

　　第二种方法是从网页的源码中获取，毕竟编码不同的话不会影响英文显示的。

如：

 

 

 

 所以可以用这两种方式，一定要结合使用，先从http的响应头部获取，如果找到编码的话，那个一定是正确的。至于方法二目前使用状态是正确的。如果两种

方式都不能获取到，则只能使用默认的编码了。

 

代码如下：

package com.xu.download;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;
import java.util.List;
import java.util.Map;

import javax.net.ssl.HttpsURLConnection;

/**
 * @author 徐金仁
 * 使用urlpconnection下载网页源码， --初级java爬虫
 */
public class Download {
    //最困难的地方：编码
    /*
     * 网页都是不同的人制作的，他们的编码不会保持一致。我们如果用错了编码的话，如果网页中含有中文，
     * 则会出现乱码
     */
    
    
    /**
     * 下载网页源码
     * @param url 下载的地址
     * @return 返回的是网页源码
     * @throws Exception 
     */
    public String download(String url){
        StringBuffer htmlSource = new StringBuffer();
        URL url_ = null;
        InputStream is = null;
        
        BufferedReader reader = null;
        try {
            //定位资源
            url_ = new URL(url);
            //打开链接
            URLConnection con = url_.openConnection();
            
            //获取正确的编码集
            String charset = getCharset(url, "utf-8");
            
            System.out.println("charset = " + charset);
            
            is = con.getInputStream();
            //使用正确的编码来编码流
            reader = new BufferedReader(new InputStreamReader(is,charset));
            
            String line = null;
            //读写
            while((line = reader.readLine()) != null){
                htmlSource.append("\n");
                htmlSource.append(line);
            }
        
        } catch (IOException e) {
            e.printStackTrace();
        }finally{
            if(is != null){
                try {
                    is.close();
                } catch (IOException e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            }
            
            if(reader != null){
                try {
                    reader.close();
                } catch (IOException e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            }
        }
        return htmlSource.toString();
    }
    
    /**
     * 获取正确的编码集
     * 要从两个个地方下手
     * 1.http链接的头部信息
     * 2.html源码中显示表明的编码
     * @param url 网页地址
     * @param string 默认的编码集
     * @return
     * @throws IOException 
     */
    private String getCharset(String url, String defaultCharset) throws IOException {
        String charset = null;
        
        URL url_ = null;
        //定位资源
        url_ = new URL(url);
        //打开链接
        URLConnection con = url_.openConnection();
        //获取http响应回来的头部信息
        Map<String, List<String>> headerField = con.getHeaderFields();
        System.out.println(headerField);
        List<String> line = headerField.get("Content-Type");
        if(line == null){
            line = headerField.get("content-type");
        }
        
        if(line != null){
            for(String st : line){
                if(st.contains("charset")){
                    //说明找到了编码
                    charset = st.split(";")[1].split("=")[1].trim();
                    break;
                }
            }
        }
        //说明没有找到，要到源码里面取寻找
        if(charset == null){
            //获取流
            InputStream is;
            is = con.getInputStream();
            BufferedReader reader = new BufferedReader(new InputStreamReader(is));
            String line_str = null;
            String cha = null;
            //一行行读下去
            while((line_str = reader.readLine()) != null){
                //去掉所有的空格
                line_str = line_str.replaceAll(" ", "");
                //去掉引号
                line_str = line_str.replaceAll("\"", "");
                if(line_str.contains("meta")){
                        if(line_str.contains("charset")){
                            //将charset开始到最后的双引号为止截取,区间左开右闭
                            int index = line_str.indexOf("charset");
                            cha = line_str.substring(index, line_str.indexOf("/", index));
                            charset = cha.split("=")[1];
                            System.out.println("c2:" + charset);
                            break;
                        }
                }
                
            }
            //说明以上两种方法都没有用
            if(charset ==null){
                //设置为默认的
                charset = defaultCharset;
            }
        }
        return charset;
    }
    
    /**
     * 测试
     * @param args
     * @throws Exception
     */
    public static void main(String[] args) throws Exception {
        String htm = new Download().download("https://www.w3school.com.cn/");
        System.out.println("源码：" + htm);
    }
}

结果如下：