使用User-Agent防止HttpClient发送http请求时403 Forbidden和安全拦截

问题的抛出

今天有合作商户反映，我们支付系统批付交易完成后，在以“API服务器点对点通信”的方式通知合作商户系统时，对方拦截了我们的请求。合作商户的伙伴贴了一张截图。

从截图可以看出来，对方拦截了我们的user-agent（Apache-HttpClient）。

 

什么是User-Agent？

通常我们用浏览器访问一个网页，当我们向服务器发送请求时，浏览器会将一些头信息附加上，然后发给服务器，其中就包括User-Agent。一些网站的网页，为了防止爬虫或恶意访问，会首先判断请求头的User-Agent，如果不是浏览器请求，则会直接拒绝请求。（https://blog.csdn.net/frankcheng5143/article/details/54096098里也提到，直接用HttpClient发起请求csdn时，会收到403 Forbidden）
不同版本的谷歌浏览器的User-Agent：
Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.87 Safari/537.36
Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)

 

解决问题

通过分析httputil代码，发现我方并未设置请求头的user-agent属性。 原来，经模拟点对点请求的测试证明，如果不设置的话，它的值默认是：Apache-HttpClient。

我方技术支持同事为了照顾合作商户的感受，建议我方改一下。那么，自然是加上user-agent来模拟正常的浏览器请求客户服务器就可以了。
当然，单从技术角度来看，另一个同事的给的建议也许更好：因为这是个服务器点对点通信，所以若要从安全方面控制，应该通过诸如ip白名单的方式，而不是通过User-Agent判断是不是浏览器请求。

 

httputil代码（user-agent不区分大小写）：

    String userAgent = "Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.87 Safari/537.36";
    HttpGet httpGet = new HttpGet(url);
    httpGet.setHeader("User-Agent",userAgent);
    response = httpclient.execute(httpGet);

 

    CloseableHttpClient httpClient = getHttpClient();
    。。。。。
    HttpPost post = new HttpPost(url);
    post.setHeader("user-agent","Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
    CloseableHttpResponse httpResponse = httpClient.execute(post);

 

    URL urls = new URL(url);
    HttpURLConnection uc = (HttpURLConnection) urls.openConnection();
    uc.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
    。。。
    uc.setRequestMethod("POST");
    。。。

 

🍀【扩展一】http状态码中的4xx和5xx，前者表示客户端错误，后者表示服务端错误

403 访问被拒绝，原因是你没有权限去访问这些内容；
404 请求路径不存在
4开头的错误都是客户端错误
5开头的多是服务器端引起的错误，503最可能的原因是没开服务器、服务器繁忙、服务器崩溃

🍀【扩展二】导致403 Forbidden错误的主要原因

　　1、你的IP被列入黑名单。

　　2、你在一定时间内过多地访问此网站(一般是用采集程序)，被防火墙拒绝访问了。

　　3、网站域名解析到了空间，但空间未绑定此域名。

　　4、你的网页脚本文件在当前目录下没有执行权限。

　　5、在不允许写/创建文件的目录中执行了创建/写文件操作。

　　6、以http方式访问需要ssl连接的网址。

　　7、浏览器不支持SSL 128时访问SSL 128的连接。

　　8、在身份验证的过程中输入了错误的密码。

　　9、DNS解析错误，手动更改DNS服务器地址。

　　10、连接的用户过多，可以过后再试。

　　11、服务器繁忙，同一IP地址发送请求过多，遭到服务器智能屏蔽。