k8s中ingress以及nginx获取客户端真实IP

 

1.背景信息

  公司游戏官网的项目,集群使用ingress开放出去,后端由于是php语言编写,所以在php的pod里面也需要一个nginx来开放连接。所以本次的路由顺序就如以下:

      腾讯云LB → ingress → nginx

  所以本次环境,ingress和nginx都需要获取客户端的真实IP。所以本篇文档还是主要讲解一下使用方式和注意事项。

 

2.基本概念

  以上讲解了ingress和nginx获取真实IP的方式,这里还是简单的了解一下基本概念。

 

  (1)remote_addr

  代表客户端的IP,但它的值不是由客户端提供的,而是服务端根据客户端的ip指定的

  当你的浏览器访问某个网站时,假设中间没有任何代理,那么网站的web服务器(Nginx,Apache等)

  就会把remote_addr设为你的机器IP,如果你用了某个代理,那么你的浏览器会先访问这个代理,然后再由这个代理转发到网站

  这样web服务器就会把remote_addr设为这台代理机器的IP,除非代理将你的IP附在请求header中一起转交给web服务器

 

  (2)X-Forwarded-For(简称XFF)

  X-Forwarded-For 是一个 HTTP 扩展头部,HTTP协议并没有对它的定义,它最开始是由 Squid 这个缓存代理软件引入

  用来表示 HTTP 请求端真实 IP,如今它已经成为事实上的标准,被各大 HTTP 代理、负载均衡等转发服务广泛使用

  并被写入 RFC 7239(Forwarded HTTP Extension)标准之中

  XFF的格式为X-Forwarded-For: client, proxy1, proxy2

 

  XFF 的内容由「英文逗号 + 空格」隔开的多个部分组成,最开始的是离服务端最远的设备 IP,然后是每一级代理设备的 IP

  (注意:如果未经严格处理,可以被伪造)

  如果一个 HTTP 请求到达服务器之前,经过了三个代理 Proxy1、Proxy2、Proxy3,IP 分别为 IP1、IP2、IP3,用户真实 IP 为 IP0

  那么按照 XFF 标准,服务端最终会收到以下信息

  X-Forwarded-For: IP0, IP1, IP2

  Proxy3 直连服务器,它会给 XFF 追加 IP2,表示它是在帮 Proxy2 转发请求

  列表中并没有 IP3,IP3 可以在服务端通过 Remote Address 字段获得

 

  (3)X-Real-IP

  这又是一个自定义头部字段,通常被 HTTP 代理用来表示与它产生 TCP 连接的设备 IP

  这个设备可能是其他代理,也可能是真正的请求端,这个要看经过代理的层级次数或是是否始终将真实IP一路传下来

  (注意:如果未经严格处理,可以被伪造)

 

3.Ingress 获取客户端真实IP

  通常,用户ip的传递依靠的是X-Forwarded-*参数。但是默认情况下,ingress是没有开启的。

  ingress的文档还比较详细,这里介绍一下可能用到的这3个参数:

  ingress官方文档: https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/configmap/#use-forwarded-headers

  以上有三个比较重要的参数。下面一一解释

 

3.1 use-forwarded-headers

  • 如果Nginx在其他7层代理或负载均衡后面,当期望Nginx将X-Forwarded-*的头信息传递给后端服务时,则需要将此参数设为true
  • 如果设为false(默认为false),Nginx会忽略掉X-Forwarded-*的头信息。false设置适用于Nginx直接对外或前面只有3层负载均衡的场景

  由于ingress的主配置是从configmap中获取的,更新参数则需要修改名为nginx-configuration的configmap的配置:在data配置块下添加use-forwarded-headers: "true"

  修改后,ingress nginx会自动加载更新nginx.conf主配置文件。下图为更新前后配置文件变化对比:

  注意:左边为开启use-forwarded-headers后ingress nginx主配置文件,右边为开启前

 

3.2 forwarded-for-header

  用来设置识别客户端来源真实ip的字段,默认是X-Forwarded-For。如果想修改为自定义的字段名,则可以在configmap的data配置块下添加:forwarded-for-header: "THE_NAME_YOU_WANT"。通常情况下,我们使用默认的字段名就满足需求,所以不用对这个字段进行额外配置。当然,你想显示的配置也可以。

 

3.3 compute-full-forwarded-for

  如果只是开启了use-forwarded-headers: "true"的话,会发现还是没能获取到客户端来源的真实ip,原因是当前X-Forwarded-For变量是从remote_addr获取的值,每次取到的都是最近一层代理的ip。为了解决这个问题,就要配置compute-full-forwarded-for字段了,即在configmap的data配置块添加:compute-full-forwarded-for: "true"。其作用就是,将客户端用户访问所经过的代理ip按逗号连接的列表形式记录下来。

  待ingress nginx加载configmap并更新主配置文件后,对比更新前后变化如下:

  注:左边是未开启compute-full-forwarded-for配置的ingress nginx主配置文件,右边是开启了的

 

3.4 举例说明

  如果从客户端ip0发起一个HTTP请求到达服务器之前,经过了三个代理proxy1、proxy2、proxy3,对应的ip分别为ip1、ip2、ip3,那么服务端最后得到的X-Forwarded-For值为:ip0,ip1,ip2。列表中并没有ip3,ip3可以在服务端通过remote_addr来获得。这样应用程序通过获取X-Forwarded-For字段的第一个ip,就可以得到客户端用户真实ip了。

 

3.5 注意项

  值得注意的是,并不是所有的场景都能通过X-Forwarded-For来获取用户正式ip。

  比如,当服务器前端使用了CDN的时候,X-Forwarded-For方式获取到的可能就是CDN的来源ip了,

  这种情况,可以根CDN厂商约定一个字段名来记录用户真实ip,然后代理将这个字段逐层传递,最后到服务端。

 

4.Nginx获取客户端真实IP

  先讲解ingress在讲解nginx原因是因为,在架构图里面,nginx在ingress后面,这里有一个非常需要注意的点就是,如果ingress不先拿到客户端的真实IP,nginx不管怎么配置都拿不到,因为在ingress那一层就没有真实的客户端IP了。往后面nginx传递的也就没有真实IP了。

 

4.1 配置

#放在http模块等,个人比较喜欢放在http

set_real_ip_from 192.168.1.0/24; #真实服务器上一级代理的IP地址或者IP段,可以写多行。 所以这里一般都是写成CDN地址

real_ip_header   X-Forwarded-For;  #从哪个header头检索出所要的IP地址。

#最主要是这条,这条不加,remote_ip字段就是没办法改成真实ip
#各大文章各种解释,官方文档翻译的也不好
#官方文档:http://nginx.org/en/docs/http/ngx_http_realip_module.html
#所以这里就用自己理解的方式来解释一下吧
  • off:会将real_ip_header指定的HTTP头中的最后一个IP作为真实IP

  • on:会将real_ip_header指定的HTTP头中的最后一个不是信任服务器的IP当成真实IP

  假设2个ip, 顺序为  1.1.1.1,192.168.1.1

   如果为off,那么 192.168.1.1为真实ip,192.168.1.1是cdn的ip,很显然就获取错误

   如果为on,那么最后一个不是信任服务器的ip就是1.1.1.1,因为只有2个ip,而且实际上nginx日志也是按照这个顺序记录的,那么192.168.1.1是信任ip,是cdn的地址,那么只有1.1.1.1是用户ip

   所以如果前端为cdn,set_real_ip_form设置成所有cdn网段就行,如果不为了安全,设置成为0.0.0.0/0,那么都是信任IP,那么就回会把X-Forwarded-For中的ip从右到左和set_real_ip_from去对比,取到最右的一个不信任ip作为真实ip。如果全是信任的,那么就是从右到左最后一个ip,那就是1.1.1.1

real_ip_recursive on;      #递归的去除所配置中的可信IP。排除set_real_ip_from里面出现的IP。如果出现了未出现这些IP段的IP,那么这个IP将被认为是用户的IP。

  Nginx使用以上的配置就可以了

 

参考:https://www.cnblogs.com/yudai/p/10974444.html

posted @ 2021-08-29 23:21  小家电维修  阅读(6647)  评论(0编辑  收藏  举报