随笔分类 - HttpClient
摘要：一、HTTP协议是什么 Http协议即超文本传送协议 (HTTP-Hypertext transfer protocol) 。它定义了浏览器（即万维网客户进程）怎样向万维网服务器请求万维网文档，以及服务器怎样把文档传送给浏览器。从层次的角度看，HTTP是面向（transaction-oriented
阅读全文
摘要：以支付宝 https://www.alipay.com/ 为例。 一、导出安装证书 浏览器（以chrome为例）访问https://www.alipay.com/，点击域名左侧的小锁，可以查看支付宝的证书信息。 点击小锁 点击证书 根据提示导出，证书格式有很多中，der、cer等。随便选择即可。 二
阅读全文
摘要：HttpClient 有一个对连接初始化和终止，还有在活动连接上 I/O 操作的完整控制。而连接操作的很多方面可以使用一些参数来控制。 一、套接字工厂 二、SSL/TLS 的定制 SSL证书，也称为服务器SSL证书，是遵守SSL协议的一种数字证书由全球信任的证书颁发机构(CA)验证服务器身份后颁发将
阅读全文
摘要：HttpClient的使用者在执行HTPP方法（GET,PUT,DELETE等），可能遇到会两种主要类型的异常： 传输异常 协议异常 并不是所有的异常都会传播给HttpClient的用户。HttpClient内部使用的异常在下文中将会标记为内部使用 传输异常 协议异常 HTTP传输安全 自动异常恢复
阅读全文
摘要：代理是爬虫技术中很重要的一项。因为有一些网站会有相应的安全策略。例如检测一段时间内，某个IP地址的访问次数，如果访问频率过高，说明你不是正常访客，然后禁止你这个IP的访问。 应对这种机制有两种手段： 放慢抓取速度，减小对目标网站的访问压力。 设置代理IP，实现高频率抓取，但是这需要多个稳定的代理IP
阅读全文
摘要：HTTP认证解决的核心问题是：你是谁？ http提供了一系列的技术和机器，可用来跟踪身份，进行安全性检测，控制对内容的访问。 一、常见的HTTP认证方式 Basic认证 Digest认证 SSL Client认证 表单认证 Basic认证 为了使web站点的登录更加简便，HTTP中包含了一种内建机制
阅读全文
摘要：一、HTTP 状态管理和执行上下文 最初，HTTP是被设计成无状态的，面向请求-响应的协议。然而，现实世界中的应用程序经常需要通过一些逻辑相关的请求-响应交换来保持状态信息。 为了使应用程序能够维持一个过程状态， HttpClient允许HTTP请求在一个特定的执行上下文中来执行，称为HTTP上下文
阅读全文
摘要：//执行请求 CloseableHttpResponse response = httpClient.execute(httpPost); //获取所有响应头 //Header[] getAllHeaders() //Header[] getHeaders(name) Header[] allHea
阅读全文
摘要：请求头设置 //创建 请求 RequestBuilder requestBuilder = RequestBuilder.get().setUri("https://www.baidu.com/"); HttpUriRequest httpGet = requestBuilder.build();
阅读全文
摘要：CloseableHttpClient的个性化配置借助 HttpClientBuilder来完成，HttpClientBuilder线程不安全。 调用 HttpClientBuilder实例方法除了build方法外，返回都是其本身，同时HttpClientBuilder 包含了诸多属性，并提供了对外
阅读全文
摘要：HttpClient的使用步骤： 创建一个Http客户端（可以进行个性化配置） 创建请求（常见的get、post请求） 客户端发送请求，获取响应内容，解析响应内容 一、创建Http客户端 /** * 第一种方式 * 静态方法, 创建HTTP客户端, 返回 CloseableHttpClient 实例
阅读全文
摘要：一、HttpClient是什么 HttpClient 不是一个浏览器。它是一个客户端的 HTTP 通信实现库。HttpClient 的目标是发送和接收 HTTP 报文。HttpClient 不会去缓存内容，执行嵌入在 HTML 页面中的 javascript 代码，猜测内容类型，重新格式化请求/重定
阅读全文
