摘要：
以支付宝 https://www.alipay.com/ 为例。 一、导出安装证书 浏览器（以chrome为例）访问https://www.alipay.com/，点击域名左侧的小锁，可以查看支付宝的证书信息。 点击小锁 点击证书 根据提示导出，证书格式有很多中，der、cer等。随便选择即可。 二 阅读全文
摘要：
HttpClient 有一个对连接初始化和终止，还有在活动连接上 I/O 操作的完整控制。而连接操作的很多方面可以使用一些参数来控制。 一、套接字工厂 二、SSL/TLS 的定制 SSL证书，也称为服务器SSL证书，是遵守SSL协议的一种数字证书由全球信任的证书颁发机构(CA)验证服务器身份后颁发将 阅读全文
摘要：
HttpClient的使用者在执行HTPP方法（GET,PUT,DELETE等），可能遇到会两种主要类型的异常： 传输异常 协议异常 并不是所有的异常都会传播给HttpClient的用户。HttpClient内部使用的异常在下文中将会标记为内部使用 传输异常 协议异常 HTTP传输安全 自动异常恢复 阅读全文
摘要：
代理是爬虫技术中很重要的一项。因为有一些网站会有相应的安全策略。例如检测一段时间内，某个IP地址的访问次数，如果访问频率过高，说明你不是正常访客，然后禁止你这个IP的访问。 应对这种机制有两种手段： 放慢抓取速度，减小对目标网站的访问压力。 设置代理IP，实现高频率抓取，但是这需要多个稳定的代理IP 阅读全文