k8s学习（十）-- helm
学习目标：掌握helm原理 helm模板自定义 helm部署一些常用插件
一、Helm是官方提供的类似于yum的包管理器，是部署环境的流程封装。Helm有两个重要的概念：chart和release
A、chart是创建一个应用的信息集合，包括各种Kubernetes对象的配置模板、参数定义、依赖关系、文档说明等。chart是应用部署的自包含逻辑单元。可以将chart想象成apt、yum中的软件包。
B、release是chart的运行实例，代表了一个正在运行的应用。当chart被安装到Kubernetes集群，就生成一个release。chart能够多次安装到同一个集群，每次安装都是一个release
Helm客户端负责chart和release的创建和管理以及和Tiller的交互Tiller服务运行在Kubernetes集群中，它会处理Helm客户端的请求，与Kubernetes API Server交互
C、Helm部署
1. 下载软件包：wget https://storage.googleapis.com/kubernetes-helm/helm-v2.13.1-linux-amd64.tar.gz
2. 解压 tar -zxvf helm-v2.13.1-linux-amd64.tar.gz
3. 将解压目录下的helm拷贝至/usr/local/bin/：cp -a linux-amd64/helm /usr/local/bin/
4. chmod a+x /usr/local/bin/helm
5. 创建tiller是用的SA以及绑定Cluster-admin角色
kind: ServiceAccount
apiVersion: v1
metadata:
name: tiller
namespace: kube-system
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: tiller
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: cluster-admin
subjects:
- kind: ServiceAccount
name: tiller
namespace: kube-system
6. 初始化helm
helm init --service-account tiller --skip-refresh
7. 实验
a. mkdir test && cd test
b. vim Chart.yaml
name: hello-world
version: v1.0.0
c. vim values.yaml
image:
repository: wangyanglinux/myapp
tag: 'v2'
d. mkdir templates && cd templates
f. vim deployment.yaml
kind: Deployment
apiVersion: extensions/v1beta1
metadata:
name: hello-world-deployment
spec:
replicas: 1
template:
metadata:
labels:
app: hello-world
spec:
containers:
- name: hello-world-container
image: {{.Values.image.repository}}:{{.Values.image.tag}}
ports:
- containerPort: 80
protocol: TCP
h. vim service.yaml
kind: Service
apiVersion: v1
metadata:
name: hello-world-service
spec:
type: NodePort
ports:
- port: 80
targetPort: 80
protocol: TCP
selector:
app: hello-world
i. 创建：helm install .
j. 更新：
1)helm upgrade release名 .
2) helm upgrade release名 --set key=value . （例如 helm upgrade singing-clam --set image.tag='v3' .）
二、使用helm部署dashboard
A、cd /usr/local/install-k8s/plugin/ && mkdir dashboard && cd dashboard
B、helm repo update
C、helm fetch stable/kubernetes-dashboard
D、tar -zxvf xxxxxxx（下载的压缩包）
E、进入解压文件夹
F、vim kubernetes-dashboard.yaml
image:
repository: k8s.gcr.io/kubernetes-dashboard-amd64
tag: v1.10.1
ingress:
enabled: true
hosts:
- k8s.frognew.com
annotations:
nginx.ingress.kubernetes.io/ssl-redirect: "true"
nginx.ingress.kubernetes.io/backend-protocol: "HTTPS"
tls:
- secretName: frognew-com-tls-secret
hosts:
- k8s.frognew.com
rbac:
clusterAdminRole: true
G、helm install . -n kubernetes-dashboard --namespace kube-system -f kubernetes-dashboard.yaml
H、kubectl edit svc kubernetes-dashboard -n kube-system
.spec.type=NodePort
I、火狐浏览器访问仪表盘
J、获取token
1. kubectl -n kube-system get secret | grep kubernetes-dashboard-token
2. kubectl describe secret secret名称 -n kube-system
三、helm部署prometheus
A、组件说明：
1. MetricServer: 是kubernetes集群资源使用情况的聚合器，收集数据给kubernetes集群内使用，如kubectl,hpa,schedule等
2. PrometheusOperator: 是一个系统监测和报警工具箱，用来存储监控数据
3. NodeExporter：用于各node的关键度量指标状态数据
4. KubeStateMetrics：收集kubernetes集群内资源对象，制定告警规则
5. Prometheus: 采用pull方式收集apiserver，scheduler，controller-manager，kubelet组件数据，通过http传输协议
6. Grafana：是可视化数据统计和监控平台
B、安装Prometheus
1. 到/usr/local/install-k8s/plugin/prometheus
2. git clone https://github.com/coreos/kube-prometheus.git
3. cd kube-prometheus/manifest
4. 修改grafana-service.yaml，使用NodePort方式访问grafana
apiVersion: v1
kind: Service
metadata:
labels:
app: grafana
name: grafana
namespace: monitoring
spec:
type: NodePort
ports:
- name: http
port: 3000
targetPort: http
nodePort: 30100
selector:
app: grafana
5. 同样修改prometheus.service
apiVersion: v1
kind: Service
metadata:
labels:
prometheus: k8s
name: prometheus-k8s
namespace: monitoring
spec:
type: NodePort
ports:
- name: web
port: 9090
targetPort: web
nodePort: 30200
selector:
app: prometheus
prometheus: k8s
sessionAffinity: ClientIP
6. 同样修改alertmanager-service.yaml
apiVersion: v1
kind: Service
metadata:
labels:
alertmanager: main
name: alertmanager-main
namespace: monitoring
spec:
type: NodePort
ports:
- name: web
port: 9093
targetPort: web
nodePort: 30300
selector:
alertmanager: main
app: alertmanager
sessionAffinity: ClientIP
四、HPA、
A、实验
1. kubectl run php-apache --image=gcr.io/google_containers/hpa-example --requests=cpu=200m --expose --port=80
2. 创建HPA控制器
kubectl autoscale deployment php-apache --cpu-percent=50 --min=1 --max=10
3. 增加负载，查看负载节点数
kubectl run -i --tty load-generator --image=busybox /bin/sh
while true; do get -q -O- http://php-apache.default.svc.cluster.local;done
五、资源限制-Pod
A、kubernetes对资源的限制实际上是通过cgroup来控制的，cgroup是容器的一组用来控制内核如何运行进程的相关属性集合。针对内存、CPU和各种设备都有对应的cgroup
B、默认情况下，pod运行没有cpu和内存的限额。这意味着系统中任何pod将能够像执行该pod所在的节点一样，消耗足够多的cpu和内存。一般会针对某些应用的pod资源进行资源限制，这个资源限制是通过resources的requests和limits来实现。requests要分配的资源，limits为最高请求的资源值。可以简单地理解为初始值和最大值
C、例子
spec:
containers:
- name: xxxx
imagePullPolicy: IfNotPresent
name: auth
ports:
- containerPort: 8080
protocol: TCP
resources:
limits:
cup: "4"
memory: 2Gi
requests:
cpu: 250m
memory: 250Mi
六、资源限制-名称空间
A、计算资源配额
kind: ResourceQuota
apiVersion: v1
metadata:
name: compute-resources
namespace: spark-cluster
spec:
hard:
pods: "20"
requests.cpu: "20"
requests.memory: 100Gi
limits.cpu: "40"
limits.memory: 200Gi
B、配置对象数量配额限制
kind: ResourceQuota
apiVersion: v1
metadata:
name: object-counts
namespace: spark-cluster
spec：
hard:
configmaps: "10"
persistentvolumeclaims:"4"
replicationcontrollers: "20"
secrets: "10"
services: "10"
services.loadbalancer: "2"
C、配置CPU和内存LimitRange
default即limit的值，defaultRequest即request的值
apiVersion: v1
kind: LimitRange
metadata:
name: mem-limit-range
spec:
limits:
- default:
memory: 50Gi
cpu: 5
defaultRequest:
memory: 1Gi
cpu: 1
type: Container
七、部署efk
A、添加Google incubator仓库
helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator
B、创建efk名称空间
kubectl create ns efk
C、部署elasticsearch
1. helm fetch incubator/elasticsearch
2. 修改values文件 副本数改为1 pv不要（机器带不起来）
3. helm install --name els1 --namespace=efk -f values.yaml .
D、部署fluentd
1. helm fetch stable/fluentd-elasticsearch
2. 修改values文件，设置elasticsearch访问地址
3. helm install --name flu1 --namespace=efk -f values.yaml .
F、部署kibana
1. helm fetch stable/kibana --version 0.14.8
2. 修改values文件的elasticsearch地址
3. helm install --name kib1 --namespace=efk -f values.yaml .
