Helm v3
-
-
这些资源文件如何高效复用
-
Helm有3个重要概念：
-
helm：一个命令行客户端工具，主要用于Kubernetes应用chart的创建、打包、发布和管理。
-
Chart：应用描述，一系列用于描述 k8s 资源相关文件的集合。
-
Release：
3、支持将 Chart 推送至 Docker 镜像仓库中
4、使用JSONSchema验证chart values
wget https://get.helm.sh/helm-vv3.2.1-linux-amd64.tar.gz tar zxvf helm-v3.2.1-linux-amd64.tar.gz mv linux-amd64/helm /usr/bin/
helm常用命令
| 描述 | |
|---|---|
| create | 创建一个chart并指定名字 |
| dependency | 管理chart依赖 |
| get | 下载一个release。可用子命令：all、hooks、manifest、notes、values |
| history | 获取release历史 |
| install | 安装一个chart |
| list | 列出release |
| package | 将chart目录打包到chart存档文件中 |
| pull | 从远程仓库中下载chart并解压到本地 # helm pull stable/mysql --untar |
| repo | 添加，列出，移除，更新和索引chart仓库。可用子命令：add、index、list、remove、update |
| rollback | 从之前版本回滚 |
| search | 根据关键字搜索chart。可用子命令：hub、repo |
| show | 查看chart详细信息。可用子命令：all、chart、readme、values |
| status | 显示已命名版本的状态 |
| template | 本地呈现模板 |
| uninstall | 卸载一个release |
| upgrade | 更新一个release |
| version |
|
配置国内chart仓库
添加存储库
helm repo add stable http://mirror.azure.cn/kubernetes/charts helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts helm repo update
查看配置的存储库
helm repo list
helm search repo stable
删除存储库：
helm repo remove aliyun
helm基本使用
-
chart install
-
chart upgrade
-
使用chart部署一个应用
#查找chart # helm search repo weave NAME CHART VERSION APP VERSION DESCRIPTION aliyun/weave-cloud 0.1.2 Weave Cloud is a add-on to Kubernetes which pro... aliyun/weave-scope 0.9.2 1.6.5 A Helm chart for the Weave Scope cluster visual... stable/weave-cloud 0.3.7 1.4.0 Weave Cloud is a add-on to Kubernetes which pro... stable/weave-scope 1.1.10 1.12.0 A Helm chart for the Weave Scope cluster visual... #查看chrt信息 # helm show chart stable/mysql #安装包 # helm install ui stable/weave-scope #查看发布状态 # helm list NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION ui default 1 2020-05-28 17:45:01.696109626 +0800 CST deployed weave-scope-1.1.10 1.12.0 [root@k8s-master ~]# helm status ui NAME: ui LAST DEPLOYED: Thu May 28 17:45:01 2020 NAMESPACE: default STATUS: deployed REVISION: 1 NOTES: You should now be able to access the Scope frontend in your web browser, by using kubectl port-forward: kubectl -n default port-forward $(kubectl -n default get endpoints \ ui-weave-scope -o jsonpath='{.subsets[0].addresses[0].targetRef.name}') 8080:4040 then browsing to http://localhost:8080/. For more details on using Weave Scope, see the Weave Scope documentation: https://www.weave.works/docs/scope/latest/introducing/
#修改service Type: NodePort 即可访问ui
-
-
--set：在命令行上指定替代。如果两者都用，--set优先级高
# helm show values stable/mysql # cat config.yaml persistence: enabled: true storageClass: "managed-nfs-storage" accessMode: ReadWriteOnce size: 8Gi mysqlUser: "k8s" mysqlPassword: "123456" mysqlDatabase: "k8s" # helm install db -f config.yaml stable/mysql # kubectl get pods NAME READY STATUS RESTARTS AGE db-mysql-57485b68dc-4xjhv 1/1 Running 0 8m51s # kubectl run -it db-client --rm --restart=Never --image=mysql:5.7 -- bash If you don't see a command prompt, try pressing enter. root@db-client:/# mysql -hdb-mysql -uk8s -p123456 mysql: [Warning] Using a password on the command line interface can be insecure. Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 36 Server version: 5.7.30 MySQL Community Server (GPL) Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved. Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | k8s | +--------------------+
以上将创建具有名称的默认MySQL用户k8s，并授予此用户访问新创建的k8s数据库的权限，但将接受该图表的所有其余默认值。
命令行替代变量：
# helm install db --set persistence.storageClass="managed-nfs-storage" stable/mysql
也可以把chart包下载下来查看详情：
# helm pull stable/mysql --untar
-
chart存储库
-
本地chart存档（helm install foo-0.1.1.tgz）
-
chart目录（helm install path/to/foo）
-
完整的URL（helm install https://example.com/charts/foo-1.2.3.tgz
# helm create mychart Creating mychart # tree mychart/ mychart/ ├── charts ├── Chart.yaml ├── templates │ ├── deployment.yaml │ ├── _helpers.tpl │ ├── ingress.yaml │ ├── NOTES.txt │ └── service.yaml └── values.yaml
-
-
values.yaml ：用于存储 templates 目录中模板文件中用到变量的值。
-
Templates： 目录里面存放所有yaml模板文件。
-
charts：目录里存放这个chart依赖的所有子chart。
-
NOTES.txt ：用于介绍Chart帮助信息， helm install 部署后展示给用户。例如：如何使用这个 Chart、列出缺省的设置等。
-
创建Chart后，接下来就是将其部署：
helm install web mychart/
也可以打包推送的charts仓库共享别人使用。
# helm package mychart/ mychart-0.1.0.tgz
chart模板
# helm create nginx # vim nginx/Chart.yaml apiVersion: v2 name: nginx description: A Helm chart for Kubernetes type: application version: 0.1.0 appVersion: 1.15 # vim nginx/values.yaml replicas: 3 image: nginx tag: 1.15 serviceport: 80 targetport: 80 label: nginx # vim nginx/templates/NOTES.txt hello # vim nginx/templates/deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: labels: app: {{ .Values.label }} name: {{ .Release.Name }} spec: replicas: {{ .Values.replicas }} selector: matchLabels: app: {{ .Values.label }} template: metadata: labels: app: {{ .Values.label }} spec: containers: - image: {{ .Values.image }}:{{ .Values.tag }} name: web # vim nginx/templates/service.yaml apiVersion: v1 kind: Service metadata: labels: app: {{ .Values.label }} name: {{ .Release.Name }} spec: ports: - port: {{ .Values.serviceport }} protocol: TCP targetPort: {{ .Values.targetport }} selector: app: {{ .Values.label }} type: NodePort #查看实际的模板被渲染过后的资源文件 # helm get manifest web # helm install web nginx/ NAME: web LAST DEPLOYED: Fri May 29 16:09:46 2020 NAMESPACE: default STATUS: deployed REVISION: 1 TEST SUITE: None NOTES: hello # helm list NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION web default 1 2020-05-29 16:09:46.608457282 +0800 CST deployed nginx-0.1.0 1.15 # kubectl get pod NAME READY STATUS RESTARTS AGE web-5675686b8-7wtqk 1/1 Running 0 25s web-5675686b8-f72hk 1/1 Running 0 25s web-5675686b8-k4kqr 1/1 Running 0 25s
这个deployment就是一个Go template的模板，这里定义的Release模板对象属于Helm内置的一种对象，是从values文件中读取出来的。这样一来，我们可以将需要变化的地方都定义变量。
调试
# helm install web --dry-run nginx/
内置对象
| release 名称 | |
|---|---|
| Release.Name | release 名字 |
| Release.Namespace | release 命名空间 |
| Release.Service | release 服务的名称 |
| Release.Revision |
-
-
父 chart 包的 values.yaml 文件
-
通过 helm install 或者 helm upgrade 的
-f或者--values参数传入的自定义的 yaml 文件 -
通过
--set参数传入的值
chart 的 values.yaml 提供的值可以被用户提供的 values 文件覆盖，而该文件同样可以被 --set
# helm upgrade web --set replicas=5 nginx/ Release "web" has been upgraded. Happy Helming! NAME: web LAST DEPLOYED: Fri May 29 16:34:17 2020 NAMESPACE: default STATUS: deployed REVISION: 2 TEST SUITE: None NOTES: hello # helm history web REVISION UPDATED STATUS CHART APP VERSION DESCRIPTION 1 Fri May 29 16:33:56 2020 superseded nginx-0.1.0 1.15 Install complete 2 Fri May 29 16:34:17 2020 deployed nginx-0.1.0 1.15 Upgrade complete # kubectl get pod NAME READY STATUS RESTARTS AGE web-5675686b8-7n7bg 1/1 Running 0 54s web-5675686b8-9vf28 1/1 Running 0 33s web-5675686b8-9wkgz 1/1 Running 0 54s web-5675686b8-jdrhr 1/1 Running 0 54s web-5675686b8-rrrxc 1/1 Running 0 33s
# helm upgrade --set imageTag=1.17 web nginx
# helm upgrade -f values.yaml web nginx
# helm rollback web 1
# helm uninstall web
查看历史版本配置信息
# helm get all --revision 1 web
管道与函数
例如从.Values中读取的值变成字符串，可以使用quote
# vi templates/deployment.yaml app: {{ quote .Values.label.app }} # helm install --dry-run web ../mychart/ project: ms app: "nginx"
模板函数调用语法为：functionName arg1 arg2...
另外还会经常使用一个default函数，该函数允许在模板中指定默认值，以防止该值被忽略掉。
# cat values.yaml replicas: 2 # cat templates/deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: name: {{ .Release.Name }}-deployment
- name: {{ .Values.name | default "nginx" }}
其他函数：
大写：{{ upper .Values.resources }}
Helm模板语言提供以下流程控制语句：
-
if/else条件块 -
with指定范围 -
range
if
{{ if PIPELINE }}
# Do something
{{ else if OTHER PIPELINE }}
# Do something else
{{ else }}
# Default case
{{ end }}
示例
# cat values.yaml devops: k8 # cat templates/deployment.yaml ... template: metadata: labels: app: nginx {{ if eq .Values.devops "k8s" }} devops: 123 {{ else }} devops: 456 {{ end }}
注意数据类型。
# helm install --dry-run web ../mychart/ ... labels: app: nginx devops: 456
可以看到渲染出来会有多余的空行，这是因为当模板引擎运行时，会将控制指令删除，所有之前占的位置也就空白了，需要使用{{- if ...}} 的方式消除此空行：
# cat templates/deploymemt.yaml ... env: {{- if eq .Values.env.hello "world" }} - name: hello value: 123 {{- end }}
# cat templates/deploymemt.yaml ... env: {{- if eq .Values.env.hello "world" -}} - hello: true {{- end }}
这会渲染成：
env:- hello: true
条件判断就是判断条件是否为真，如果值为以下几种情况则为false：
-
一个布尔类型的
false -
一个数字
零 -
一个
空的字符串 -
一个空的集合（
map、slice、tuple、dict、array）
除了上面的这些情况外，其他所有条件都为 真。
# cat values.yaml resources: {} # limits: # cpu: 100m # memory: 128Mi # requests: # cpu: 100m # memory: 128Mi # cat templates/deploymemt.yaml ... spec: containers: - image: nginx:1.16 name: nginx {{- if .Values.resources }} resources: {{ toYaml .Values.resources | indent 10 }} {{- end }}
例如，判断一个布尔值
# cat values.yaml service: type: ClusterIP port: 80 ingress: enabled: true host: example.ctnrs.com # cat templates/ingress.yaml {{- if .Values.ingress.enabled -}} apiVersion: networking.k8s.io/v1beta1 kind: Ingress metadata: name: {{ .Release.Name }}-ingress spec: rules: - host: {{ .Values.ingress.host }} http: paths: - path: / backend: serviceName: {{ .Release.Name }} servicePort: {{ .Values.service.port }} {{ end }}
range
我们在
# cat values.yaml test: - 1 - 2 - 3
循环打印该列表：
apiVersion: v1 kind: ConfigMap metadata: name: {{ .Release.Name }} data: test: | {{- range .Values.test }} {{ . }} {{- end }}
还记得之前我们的 {{.Release.xxx}}或者 {{.Values.xxx}}吗？其中的 .就是表示对当前范围的引用， .Values就是告诉模板在当前范围中查找 Values对象的值。而 with语句就可以来控制变量的作用域范围，其语法和一个简单的 if
{{ with PIPELINE }}
# restricted scope
{{ end }}
# cat values.yaml ... nodeSelector: team: a gpu: yes # cat templates/deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: name: {{ .Release.Name }}-deployment spec: replicas: 1 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: {{- with .Values.nodeSelector }} nodeSelector: team: {{ .team }} gpu: {{ .gpu }} {{- end }} containers: - image: nginx:1.16 name: nginx
优化后：
{{- with .Values.nodeSelector }}
nodeSelector:
{{- toYaml . | nindent 8 }}
{{- end }}
with是一个循环构造。使用.Values.nodeSelector中的值：将其转换为Yaml。
toYaml之后的点是循环中.Values.nodeSelector
变量
# cat ../values.yaml env: NAME: "gateway" JAVA_OPTS: "-Xmx1G" # cat deployment.yaml ... env: {{- range $k, $v := .Values.env }} - name: {{ $k }} value: {{ $v | quote }} {{- end }}
结果如下
env: - name: JAVA_OPTS value: "-Xmx1G" - name: NAME value: "gateway"
问题2：with中不能使用内置对象
with语句块内不能再 .Release.Name
apiVersion: apps/v1 kind: Deployment metadata: name: {{ .Release.Name }}-deployment spec: replicas: {{ .Values.replicas }} template: metadata: labels: project: {{ .Values.label.project }} app: {{ quote .Values.label.app }} {{- with .Values.label }} project: {{ .project }} app: {{ .app }} release: {{ .Release.Name }} {{- end }}
上面会出错
{{- $releaseName := .Release.Name -}}
{{- with .Values.label }}
project: {{ .project }}
app: {{ .app }}
release: {{ $releaseName }}
# 或者可以使用$符号,引入全局命名空间
release: {{ $.Release.Name }}
{{- end }}
命名模板：使用define定义，template引入，在templates目录中默认下划线开头的文件为公共模板(
# cat _helpers.tpl {{- define "demo.fullname" -}} {{- .Chart.Name -}}-{{ .Release.Name }} {{- end -}} # cat deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: name: {{ template "demo.fullname" . }} ...
template指令是将一个模板包含在另一个模板中的方法。但是，template函数不能用于Go模板管道。为了解决该问题，增加include功能。
# cat _helpers.tpl {{- define "demo.labels" -}} app: {{ template "demo.fullname" . }} chart: "{{ .Chart.Name }}-{{ .Chart.Version }}" release: "{{ .Release.Name }}" {{- end -}} # cat deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: name: {{ include "demo.fullname" . }} labels: {{- include "demo.labels" . | nindent 4 }} ...
1、先创建模板
2、修改Chart.yaml，Values.yaml，添加常用的变量
3、在templates目录下创建部署镜像所需要的yaml文件，并变量引用yaml里经常变动的字段
# ./install.sh --with-chartmuseum
安装push插件
helm plugin install https://github.com/chartmuseum/helm-push
添加repo
# helm repo add --username admin --password Harbor12345 myrepo http://192.168.0.241/chartrepo/library
推送到harbor仓库
# helm push mysql-1.4.0.tgz --username=admin --password=Harbor12345 http://192.168.0.241/chartrepo/library # helm install web --version 1.4.0 myrepo/demo
