k8s Ingress和ingress控制器
k8s Ingress和ingress控制器
ingress架构图简介
我们知道service的表现形式为IP:PORT，即工作在第四层传输层（TCP/IP层），那么对于不同的URL地址经常对应用不同的后端服务或者虚拟服务器，这些应用层的转发机制仅通过kubernetes的service机制是无法实现的，这种情况我么可以使用ingress策略定义和一个具体的ingress Controller，两者结合实现一个完整的Ingress 负载均衡，这个负载均衡是基于nginx七层反向代理来实现的，ingress工作原理如下图：
外部客户端通过访问负载均衡器，然后调度到service上，然后在调度到IngressController，IngressController通过Ingress规则（域名或虚拟主机）访问到后端pod，而在Ingress规则当中对应的主机是又service分组来设定的，可以看到，这幅图有2种service，最上面的service是用来对外提供服务的，而下面2个service仅仅是用来分pod组的
ingress安装和配置
在github上下载相关yaml文件
下载mandatory.yaml文件
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.20.0/deploy/mandatory.yaml wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/provider/baremetal/service-nodeport.yaml #对外提供服务，如果不需要可以不下载
因为mandatory文件中默认用的是谷歌地址，你懂得，所以替换defaultbackend-amd64和nginx-ingress-controller镜像地址，速度也会更快！
[root@master ingress-nginx]# sed -i 's#k8s.gcr.io/defaultbackend-amd64#registry.cn-qingdao.aliyuncs.com/kubernetes_xingej/defaultbackend-amd64#g' mandatory.yaml [root@master ingress-nginx]# sed -i 's#quay.io/kubernetes-ingress-controller/nginx-ingress-controller#registry.cn-qingdao.aliyuncs.com/kubernetes_xingej/nginx-ingress-controller#g' mandatory.yaml
如果想手动修改访问的端口可以添加service-nodeport文件中nodePort，如果采取随机分配这一步可以忽略
[root@master ingress-nginx]# cat service-nodeport.yaml
apiVersion: v1
kind: Service
metadata:
name: ingress-nginx
namespace: ingress-nginx
labels:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
spec:
type: NodePort
ports:
- name: http
port: 80
targetPort: 80
protocol: TCP
nodePort: 30080
- name: https
port: 443
targetPort: 443
protocol: TCP
nodePort: 30443
selector:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
执行service-nodeport.yaml和mandatory.yaml两个文件
[root@master ingress-nginx]# kubectl apply -f mandatory.yaml [root@master ingress-nginx]# kubectl apply -f service-nodeport.yaml
查看pod状态
[root@master ingress-nginx]# kubectl get pods -A NAMESPACE NAME READY STATUS RESTARTS AGE default nginx-7bb7cd8db5-98wvj 1/1 Running 0 62m ingress-nginx default-http-backend-7fccc47f44-qcfhh 1/1 Running 0 58m ingress-nginx nginx-ingress-controller-d786fc9d4-w5nrc 1/1 Running 0 58m kube-system coredns-bccdc95cf-8sqzn 1/1 Running 2 4d2h kube-system coredns-bccdc95cf-vt8nz 1/1 Running 2 4d2h kube-system etcd-master 1/1 Running 1 4d2h kube-system kube-apiserver-master 1/1 Running 1 4d2h kube-system kube-controller-manager-master 1/1 Running 2 4d2h kube-system kube-flannel-ds-amd64-c97wh 1/1 Running 1 4d1h kube-system kube-flannel-ds-amd64-gl6wg 1/1 Running 2 4d1h kube-system kube-flannel-ds-amd64-npsqf 1/1 Running 1 4d1h kube-system kube-proxy-gwmx8 1/1 Running 2 4d2h kube-system kube-proxy-phqk2 1/1 Running 1 4d1h kube-system kube-proxy-qtt4b 1/1 Running 1 4d1h kube-system kube-scheduler-master 1/1 Running 2 4d2h
查看svc状态
[root@master ingress-nginx]# kubectl get svc -n ingress-nginx NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE default-http-backend ClusterIP 10.105.81.131 <none> 80/TCP 59m ingress-nginx NodePort 10.105.53.207 <none> 80:30080/TCP,443:30443/TCP 58m
mandatory部署介绍
1.namespace.yaml 创建一个独立的命名空间 ingress-nginx 2.configmap.yaml ConfigMap是存储通用的配置变量的，类似于配置文件，使用户可以将分布式系统中用于不同模块的环境变量统一到一个对象中管理；而它与配置文件的区别在于它是存在集群的“环境”中的，并且支持K8S集群中所有通用的操作调用方式。 从数据角度来看，ConfigMap的类型只是键值组，用于存储被Pod或者其他资源对象（如RC）访问的信息。这与secret的设计理念有异曲同工之妙，主要区别在于ConfigMap通常不用于存储敏感信息，而只存储简单的文本信息。 ConfigMap可以保存环境变量的属性，也可以保存配置文件。 创建pod时，对configmap进行绑定，pod内的应用可以直接引用ConfigMap的配置。相当于configmap为应用/运行环境封装配置。 pod使用ConfigMap，通常用于：设置环境变量的值、设置命令行参数、创建配置文件。 3.default-backend.yaml 如果外界访问的域名不存在的话，则默认转发到default-http-backend这个Service，其会直接返回404： 4.rbac.yaml 负责Ingress的RBAC授权的控制，其创建了Ingress用到的ServiceAccount、ClusterRole、Role、RoleBinding、ClusterRoleBinding 5.with-rbac.yaml 是Ingress的核心，用于创建ingress-controller。ingress-controller的作用是将新加入的Ingress进行转化为Nginx的配置
打开浏览器验证
上面提示的404是因为后端服务还没有配置，这是OK的
创建后端服务
这里我们已nginx为服务为例，创建一个nginx和跟nginx对应的service，这里要注意metadata.name要和后面创建的ingress中的serviceName一致，切记！
[root@master myself]# cat mypod.yaml
apiVersion: v1
kind: Service
metadata:
name: service-nginx
namespace: default
spec:
selector:
app: mynginx
ports:
- name: http
port: 80
targetPort: 80
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: mydepoy
namespace: default
spec:
replicas: 5
selector:
matchLabels:
app: mynginx
template:
metadata:
labels:
app: mynginx
spec:
containers:
- name: mycontainer
image: lizhaoqwe/nginx:v1
imagePullPolicy: IfNotPresent
ports:
- name: nginx
containerPort: 80
有了前端了，也有后端了，那么接下来就该创建ingress规则了
ingress配置
[root@master myself]# cat ingress-nginx.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: ingress-mynginx
namespace: default
annotations:
kubernetes.io/ingress.class: "nginx"
spec:
rules:
- host: mynginx.fengzi.com
http:
paths:
- path:
backend:
serviceName: service-nginx
servicePort: 80
在打开浏览器的主机添加一条hosts记录（mynginx.fengzi.com 192.168.254.13）然后打开浏览器验证
我们可以去查看nginx的配置文件，去查看我们所创建的规则有没有注入到ingress中
#查看ingress-controller中的规则
[root@master myself]# kubectl get pods -n ingress-nginx NAME READY STATUS RESTARTS AGE default-http-backend-7fccc47f44-sgj6g 1/1 Running 0 140m nginx-ingress-controller-d786fc9d4-4vb5z 1/1 Running 0 140m
[root@master myself]# kubectl exec -it nginx-ingress-controller-d786fc9d4-4vb5z -n ingress-nginx -- /bin/bash
www-data@nginx-ingress-controller-d786fc9d4-4vb5z:/etc/nginx$ cat nginx.conf
结果如下:
我们可以看到nginx配置文件中已经有了我们所定义的反代规则
ok，成功！！！
我们还可以用ingress实现更多的服务，比如tomcat，下面代码是给tomcat服务添加5个pod和1个service分组
[root@master ingress]# cat tomcat.yaml
apiVersion: v1
kind: Service
metadata:
name: tomcat
namespace: default
spec:
selector:
app: tomcat
ports:
- name: http
port: 8080
targetPort: 8080
- name: ajp
port: 8009
targetPort: 8009
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: tomcat
namespace: default
spec:
replicas: 5
selector:
matchLabels:
app: tomcat
template:
metadata:
labels:
app: tomcat
spec:
containers:
- name: tomcat
image: tomcat:7-alpine
imagePullPolicy: IfNotPresent
ports:
- name: http
containerPort: 8080
- name: ajp
containerPort: 8009
将tomcat服务添加至ingress-nginx中
[root@master ingress]# cat ingress-tomcat.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: ingress-mytomcat
namespace: default
annotations:
kubernetes.io/ingress.class: "nginx"
spec:
rules:
- host: mytomcat.fengzi.com
http:
paths:
- path:
backend:
serviceName: tomcat
servicePort: 8080
在浏览器宿主机上添加hosts记录（mytomcat.fengzi.com 192.168.254.13）,然后打开浏览器验证
这样我们就可以实现利用nginx的反向代理，对于web服务针对主机名的不同显示不通的网站
基于ssl协议的访问
创建私有证书及secret
[root@master myself]# openssl genrsa -out tls.key 2048 #这里CN=后面要写域名 [root@master myself]# openssl req -new -x509 -key tls.key -out tls.crt -subj /C=CN/ST=Beijing/L=Beijing/O=DevOps/CN=mytomcat.fengzi.com #创建secret [root@master myself]# kubectl create secret tls mytomcat-ingress-secret --cert=tls.crt --key=tls.key
查看证书
[root@master myself]# kubectl describe secret mytomcat-ingress-secret Name: mytomcat-ingress-secret Namespace: default Labels: <none> Annotations: <none> Type: kubernetes.io/tls Data ==== tls.crt: 1302 bytes tls.key: 1675 bytes
将证书添加到tomcat中，执行ingress-tomcat-tls.yaml文件，ingress-tomcat-tls.yaml文件内容如下
[root@master myself]# cat ingress-tomcat-tls.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: ingress-mytomcat-tls
namespace: default
annotations:
kubernetes.io/ingress.class: "nginx"
spec:
tls:
- hosts:
- mytomcat.fengzi.com #这里写域名
secretName: mytomcat-ingress-secret #这里写secret证书名称
rules:
- host: mytomcat.fengzi.com
http:
paths:
- path:
backend:
serviceName: tomcat
servicePort: 8080
验证
至此，全部结束！！！
