使用acs-engine扩容Azure Kubernetes集群
一. 在部署Kubernetes集群时,我们使用acs-engine生成了3个json文件以及一些证书文件,如下:
- apimodel.json - 集群配置文件
- azuredeploy.json - 核心的ARM (Azure Resource Model)模板,用来部署k8s集群
- azuredeploy.parameters.json - 部署参数文件,其中的参数可以自定义
- certificate and access config files - kubernetes需要的一些证书,这些证书文件和它依赖的kube config配置文件也存放在和ARM模板同级目录下面
需要注意的是,当修改已有的Docker容器集群的时候,应该修改apimodel.json文件来保证最新的部署不会影响到目前集群中已有的资源。举个例子,如果一个容器集群中的节点数量不够的时候,可以修改apimodel.json中的集群节点数量,然后重新运行acs-engine命令并将apimodel.json作为输入参数来生成新的ARM模板。这样部署以后,集群中的旧的节点就不会有变化,新的节点会自动加入。目前只支持node节点的扩容。
二. 修改apimodel.json中node节点的数量,并使用apimodel.json文件作为输入文件来生成新的模板。
{
"apiVersion": "vlabs",
"location": "chinaeast",
"properties": {
"orchestratorProfile": {
....
},
"masterProfile": {
"count": 3,
},
"agentPoolProfiles": [
{
"name": "testagpool1",
"count": 4, #修改node节点数量,扩容到4个node节点
}
}
三. 修改新生成的azuredeploy.json 和 azuredeploy.parameters.json文件,添加Offset信息。
在新生成的模板文件以及参数文件中,需要修改和添加node节点的offset数量,标明在扩容前已经存在的node节点数量,这样扩容就不会去修改已存在offset数量的虚机,而从offset位置开始新建虚机。
如果你再扩容中发现如下错误,那应该是没有正确配置好offset的数量:
{
"error": {
"code": "PropertyChangeNotAllowed",
"target": "customData",
"message": "Changing property 'customData' is not allowed."
}
修改azuredeploy.json中node节点的offset数量,例如若扩容前已经有2个node节点,则offset为2:
"testagpool1Offset": {
"allowedValues": [
0,
....
99
],
"defaultValue": 2,
"metadata": {
"description": "The offset into the agent pool where to start creating agents. This value can be from 0 to 99, but must be less than agentCount"
},
"type": "int"
}
azuredeploy.parameters.json中添加node节点offset信息:
"testagpool1Offset": {
"value": 2
}
四. 删除网络安全组中的网络接口关联。
部署kubernetes时,acs-engine建了一个网络安全组,并关联了master和所有node节点的网卡。而在扩容过程中,脚本会删除掉这个网络安全组中除了默认22/443端口的其他所有端口,因此在执行扩容命令之前,需要将网络安全组中的网卡取消关联,否则在扩容过程中将会导致无法从外部访问服务。如果你的服务不需要从外部访问,则可以不进行此操作。
五. 执行扩容指令实现node节点扩容。
Azure CLI2 :
$ az cloud set -n AzureChinaCloud $ az login $ az account set --subscription "<SUBSCRIPTION NAME OR ID>" $ az group create \ --name "<RESOURCE_GROUP_NAME>" \ --location "<LOCATION>" $ az group deployment create \ --name "<DEPLOYMENT NAME>" \ --resource-group "<RESOURCE_GROUP_NAME>" \ --template-file "./_output/<INSTANCE>/azuredeploy.json" \ --parameters "./_output/<INSTANCE>/azuredeploy.parameters.json"