HttpClient配置及运用(二)
4.获取响应状态Status信息、获取状态码Status Code
一般服务器的响应状态有以下几种:
200 正常
400 未找到页面
403 拒绝
500 服务器错误
比如我们请求bootstrap中文网,
我们现在代码中获取状态码:
public class Demo { public static void main(String[] args) throws Exception { CloseableHttpClient closeableHttpClient=HttpClients.createDefault(); //1、创建实例 HttpGet httpGet=new HttpGet("http://www.bootcss.com"); //2、创建请求 httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0"); CloseableHttpResponse closeableHttpResponse=closeableHttpClient.execute(httpGet); //3、执行 HttpEntity httpEntity=closeableHttpResponse.getEntity(); //4、获取实体 System.out.println(closeableHttpResponse.getStatusLine()); //获取状态码 closeableHttpResponse.close(); closeableHttpClient.close(); } }
运行结果:HTTP/1.1 200 OK
接下来我们访问一个不存在的页面:
HttpGet httpGet=new HttpGet("http://www.huimsoft.com/x/x.html");
运行结果:HTTP/1.1 404 Not Found
5.HttpClient请求服务器图片
我们先引入一个IO流相关的Jar包,
从apache下载
之后引入项目
我们将请求的图片保存在本地磁盘
package com.zhi.httpClient3; import java.io.File; import java.io.InputStream; import org.apache.commons.io.FileUtils; import org.apache.http.HttpEntity; import org.apache.http.client.methods.CloseableHttpResponse; import org.apache.http.client.methods.HttpGet; import org.apache.http.impl.client.CloseableHttpClient; import org.apache.http.impl.client.HttpClients; public class Demo { public static void main(String[] args) throws Exception { CloseableHttpClient closeableHttpClient=HttpClients.createDefault(); //1、创建实例 HttpGet httpGet=new HttpGet("http://static.bootcss.com/www/assets/img/codeguide.png?1505127079951"); //2、创建请求 CloseableHttpResponse closeableHttpResponse=closeableHttpClient.execute(httpGet); //3、执行 HttpEntity httpEntity=closeableHttpResponse.getEntity(); //4、获取实体 if(httpEntity!=null){ System.out.println("ContentType:"+httpEntity.getContentType().getValue()); InputStream inputStream=httpEntity.getContent(); FileUtils.copyToFile(inputStream, new File("D://xxx.png")); //将图片保存在本次磁盘D盘,命名为xxx.png } closeableHttpResponse.close(); closeableHttpClient.close(); } }
运行后,D盘里会增加一个图片文件。
同理,jpg和gif也可以进行抓取后保存在本地。
6.使用代理IP、高匿IP、连接失败
我们使用代理IP就是因为某些站点会屏蔽我们的IP,所以我们要动态的更换代理IP。
其中我们首先选择国内的IP,国外的一般都比较慢,其次不要选择如{新疆乌鲁木齐}等这样的偏远地区,尽量选用一二线城市的IP
关于代理IP的话 也分几种 透明代理、匿名代理、混淆代理、高匿代理
1、透明代理(Transparent Proxy)
REMOTE_ADDR = Proxy IP
HTTP_VIA = Proxy IP
HTTP_X_FORWARDED_FOR = Your IP
透明代理虽然可以直接“隐藏”你的IP地址,但是还是可以从HTTP_X_FORWARDED_FOR来查到你是谁。
2、匿名代理(Anonymous Proxy)
REMOTE_ADDR = proxy IP
HTTP_VIA = proxy IP
HTTP_X_FORWARDED_FOR = proxy IP
匿名代理比透明代理进步了一点:别人只能知道你用了代理,无法知道你是谁。
3、混淆代理(Distorting Proxies)
REMOTE_ADDR = Proxy IP
HTTP_VIA = Proxy IP
HTTP_X_FORWARDED_FOR = Random IP address
与匿名代理相同,如果使用了混淆代理,别人还是能知道你在用代理,但是会得到一个假的IP地址,伪装的更逼真。
4、高匿代理(Elite proxy或High Anonymity Proxy)
REMOTE_ADDR = Proxy IP
HTTP_VIA = not determined
HTTP_X_FORWARDED_FOR = not determined
可以看出来,高匿代理让别人根本无法发现你是在用代理,所以是最好的选择。
一般我们使用高匿的代理IP。
public class Demo { public static void main(String[] args) throws Exception { CloseableHttpClient closeableHttpClient=HttpClients.createDefault(); //1、创建实例 HttpGet httpGet=new HttpGet("http://www.bootcss.com/"); //2、创建实例 HttpHost proxy=new HttpHost("114.219.61.82", 8118); RequestConfig config=RequestConfig.custom().setProxy(proxy).build(); httpGet.setConfig(config); CloseableHttpResponse closeableHttpResponse=closeableHttpClient.execute(httpGet); //3、执行 HttpEntity httpEntity=closeableHttpResponse.getEntity(); //4、获取实体 //System.out.println(httpEntity.toString()); System.out.println(EntityUtils.toString(httpEntity, "utf-8")); //获取网页内容 closeableHttpResponse.close(); closeableHttpClient.close(); } }
加入IP失效了,或者我们写错了端口号,
那么会输出连接失败信息
7.连接超时(connect timed out)和读取超时(Read timed out)
设置连接超时和读取超时方法:
RequestConfig config=RequestConfig.custom() .setConnectTimeout(10000) // 设置连接超时时间 10秒钟 .setSocketTimeout(10000) // 设置读取超时时间10秒钟 .build();
HttpClient连接时间
所谓连接的时候
是HttpClient发送请求的地方开始到连接上目标url主机地址的时间,
理论上是距离越短越快,线路越通畅越快,但是由于路由复杂交错,往往连接上的时间都不固定,运气不好连不上,
HttpClient的默认连接时间,默认可能是1分钟,假如超过1分钟 过一会继续尝试连接,这样会有一个问题 假如遇到一个url老是连不上,会影响其他线程的线程进去,
所以我们有必要进行特殊设置,比如设置10秒钟 假如10秒钟没有连接上 我们就报错,这样我们就可以进行业务上的处理,
比如我们业务上控制 过会再连接试试看。并且这个特殊url写到log4j日志里去。方便管理员查看。
HttpClient读取时间
所谓读取的时间 是HttpClient已经连接到了目标服务器,然后进行内容数据的获取,一般情况 读取数据都是很快速的,
但是假如读取的数据量大,或者是目标服务器本身的问题(比如读取数据库慢,并发量大等...)也会影响读取时间。
我们还是需要来特殊设置下,比如设置10秒钟 假如10秒钟还没读取完,就报错,同上,我们可以业务上处理。
posted on 2017-10-31 12:00 FrankLiner 阅读(363) 评论(0) 编辑 收藏 举报