第十三次总结 关于爬虫

1. Java中使用HTTP/HTTPS协议开发程序？
2. 如何获得网址数据?

---

1.Java中使用HTTP/HTTPS协议开发程序？

URL 统一资源定位符
表示一个网络上的资源地址，包含的是IP和端口,还包含具体的资源名称

网址：http://www.baidu.com:80
域名：baidu.com 对应的是IP
网址如果没有写资源名称，默认有一个资源名称，具体是哪个资源要看服务端配置

HttpUrlConnection
基于HTTP协议的网络连接

---

2.如何获得网址数据?

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.List;
import java.util.Map;
import java.util.Set;

public class Demo {

    public static void main(String[] args) throws Exception {
        //封装地址
        URL url = new URL("https://ncov.dxy.cn/ncovh5/view/pneumonia");

        //获得连接对象
        HttpURLConnection conn = (HttpURLConnection) url.openConnection();

        //打开连接
        conn.connect();
        //获得内容的类型
        String str = conn.getContentType();
        System.out.println(str);

        //获得响应的状态码，如果状态码是200.说明请求响应是成功的
        int t = conn.getResponseCode();
        System.out.println(t);
        if (t == 200) {
            //从连接上获得数据输入流
            InputStream ips = conn.getInputStream();
            //包装成字符流
            BufferedReader br = new BufferedReader(new InputStreamReader(ips));
            //从流中读取字符数据
            String msg = br.readLine();
            while (msg != null) {

                System.out.println(msg);
                msg = br.readLine();
            }
        }
    }
}