Kubernetes 中使用consul-template渲染配置
Kubernetes 中使用consul-template渲染配置
当前公司使用consul来实现服务发现,如Prometheue配置中的target和alertmanager注册都采用了consul服务发现的方式,以此来灵活应对服务的变更。但对于其他服务,是否也有一个通用的方式来使用consul管理配置文件?本文中描述如何使用consul-template来渲染配置文件。
使用方式
consul-template
是hashicorp开发的一个模板渲染工具,它采用了Go template语法。可以将其配置为守护进程模式,watch consul服务的变动,并将变动后的服务渲染到配置文件中。会虽然名字中带了consul,但它还可以对 Vault和 Nomad 进行渲染。
简单使用方式如下,首先要创建一个模板in.tpl
,在渲染时通过-template
指定模板(in.tpl)和渲染结果(out.txt):
$ consul-template -consul-addr=<consul-address>:<consul-port> -template "in.tpl:out.txt"
SSL方式
生产环境中的consul通常会启用ssl和ACL配置,这样在连接consul的时候需要提供CA证书和token。命令行使用方式如下:
$ consul-template -log-level debug -consul-addr==<consul-address>:<consul-port> -consul-token=<token> -consul-ssl -consul-ssl-verify=false -consul-ssl-ca-cert=<ca.crt> -template "in.tpl:out.txt"
也可以使用
-consul-ssl-ca-path
和-consul-token-file
分别指定CA证书和token文件的路径。
获取ca证书
官方提供了一个名为consul-k8s的工具来获取consul的CA证书,并提供了容器镜像,使用方式如下:
$ consul-k8s-control-plane get-consul-client-ca -output-file=/tmp/tls.crt -server-addr=<consul-address> -server-port=<consul-port>
可以将consul-k8s
配置为一个initcontainer,这样在consul-template
启动之前就可以获取到ca证书:
initContainers:
- command:
- /bin/sh
- '-ec'
- |
consul-k8s-control-plane get-consul-client-ca \
-output-file=/consul/tls/client/ca/tls.crt \
-server-addr=<consul-address> \
-server-port=<consul-port> \
image: docker pull hashicorp/consul-k8s-control-plane:0.36.0
imagePullPolicy: IfNotPresent
name: get-auto-encrypt-client-ca
resources:
limits:
cpu: 50m
memory: 50Mi
requests:
cpu: 50m
memory: 50Mi
volumeMounts:
- mountPath: /consul/tls/client/ca
name: consul-auto-encrypt-ca-cert
volumes:
- emptyDir:
medium: Memory
name: consul-auto-encrypt-ca-cert
获取token
连接consul所使用的token可以以secret的形式部署在kubernetes集群中,可以通过vault注入等方式来避免token泄露。
整个处理方式如下图所示:
![image](https://img2023.cnblogs.com/blog/1334952/202310/1334952-20231026103058713-943786571.png)
配置文件方式
上面通过命令行的方式(-template "in.tpl:out.txt"
)指定了模版和渲染结果,但这种方式只适用于渲染单个模板,如果需要渲染多个模板,可以采用配置文件的方式。
配置文件语法采用的是hcl,包含三部分:服务端(Consul、Vault和Nomad)、Templates和Modes,以及可选字段。服务端主要用于配置到服务端(Consul、Vault和Nomad)的连接;Templates可以指定多个模板(source)和渲染结果(destination);Modes用于配置consul-template的运行模式,通过once mode可以配置为非守护进程模式,通过exec mode可以启动额外的子进程。Modes字段可选,默认是守护进程模式。
配置文件的例子如下:
consul {
address = "127.0.0.1:8500"
auth {
enabled = true
username = "test"
password = "test"
}
}
log_level = "warn"
template {
contents = "{{key \"hello\"}}"
destination = "out.txt"
exec {
command = "cat out.txt"
}
}
后续就可以通过consul-template -config <config>
的方式运行。
编写模板
consul-template使用的Go template的语法,除此之外,它还提供了丰富的内置方法,用于支持Consul(文章中搜索关键字Query Consul
)、Vault(文章中搜索关键字Query Vault
)和Nomad(文章中搜索关键字Query Nomad
),以及一些公共函数(如trim、regexMatch、replaceAll等)。
模板语法中比较重要的两点:
- 在模板文本中,一切动态的内容和判断代码块均使用
{{
和}}
包括起来,在{{
和}}
之外的文本均会被原封不动地拷贝到输出中。 - 为了方便格式化模板源代码,还额外提供了
{{-
和-}}
两种语法,可以将代码块前或代码块后的空白字符均移除。空白字符包括空格符、换行符、回车符、水平制表符。
举例
下面是logstash的output配置,用于将logstash处理的消息发送到elasticsearch.hosts
中。如果hosts
中的节点发生变动(如扩缩容),此时就需要联动修改logstash的配置:
output {
elasticsearch {
hosts => ['dev-logging-elkclient000001.local:9200', 'dev-logging-elkclient000002.local:9200', 'elkclient000003.local:9200']
index => "logstash-infra-%{es_index}"
resurrect_delay => 2
retry_max_interval => 30
sniffing => false
action => "create"
}
}
为了避免上述修改,可以通过consul-template对该配置进行渲染(当然前提是hosts
中的节点都已经注册到了Consul中)。
{{- $nodes := "" }}
{{ range service "elasticsearch" }} {{- $node := .Node }} {{- $port := .Port }}
{{ if $node | regexMatch "(dev|prd)-logging-elkclient.*" }}
{{ if eq $nodes "" }}
{{$nodes = (printf "'%s:%d'" $node $port)}}
{{else}}
{{$nodes = (printf "%s,'%s:%d'" $nodes $node $port)}}
{{- end -}}
{{- end -}}
{{- end }}
output {
elasticsearch {
hosts => [{{$nodes}}]
index => "logstash-%{es_index}"
resurrect_delay => 2
retry_max_interval => 30
sniffing => false
action => "create"
}
}
- 首先定义一个变量
$nodes
,用于保存最终的结果 - 遍历consul的
service
elasticsearch
,获取Node
字段(如dev-logging-elkclient000001.local
)和Port
字段(本例中只有9200
) - 通过内置方法
regexMatch
从elasticsearch
的节点中过滤所需的节点 - 通过
printf
方法拼接字符串,并将结果保存到$nodes
中 - 最后在
output.elasticsearch.hosts
中使用上面的结果$nodes
即可,由于$nodes
是动态输出,因此需要加上双大括号{{$nodes}}
参考
Tips
-
有时候一个文件因为要经过多个服务的渲染而添加了多个模板,例如先使用vault注入secrets,再使用consul注入services。这样就会导致vault在处理时候会尝试解析consul的模板,但由于vault缺少连接consul所需的配置,会导致vault一直尝试连接consul。可以通过将其他服务的模版作为raw string的方式规避该问题,这样在vault解析模板的时候就会输出consul的模板:
{{- $consulTemplate := ` {{- $nodes := "" }} {{ range service "elasticsearch" }} {{- $node := .Node }} {{- $port := .Port }} {{ if $node | regexMatch "(dev|prd)-logging-elkclient.*" }} {{ if eq $nodes "" }} {{$nodes = (printf "'%s:%d'" $node $port)}} {{else}} {{$nodes = (printf "%s,'%s:%d'" $nodes $node $port)}} {{- end -}} {{- end -}} {{- end }} output { elasticsearch { hosts => [{{$nodes}}] index => "logstash-%{es_index}" resurrect_delay => 2 retry_max_interval => 30 sniffing => false action => "create" } } ` }} {{ $consulTemplate }}
本文来自博客园,作者:charlieroro,转载请注明原文链接:https://www.cnblogs.com/charlieroro/p/17789053.html