Ansible - 简介和应用自动化基础实践
Ansible简介和应用自动化基础实践
一.引入：
1.1 如官方定义，Ansible is The simplest way to automate apps and IT infrastructure. 它的设计灵感来自于作者Michael DeHanan喜欢的一本书《安德的游戏》中的一个通信工具Ansible，这个工具可以远程实时地指挥相距数光年的舰队作战。 由此，我们就可以猜想到作为自动化工具的Ansible功能的特点：远程管理批量的设备以实现应用或IT基础设施自动化。
1.2 安装
在CentOS执行如下指令安装最新版本的Ansible
$ sudo yum install epel-release
$ sudo yum install ansible
二.简介
2.1 做什么
应用自动化：应用环境安装，应用部署
配置管理：通过inventory管理运维的主机，端口，和组；通过和配置管理数据库的交互实现动态inventory和配置管理数据库更新
Note. 配置管理的活动包括配置项、工作空间管理、版本控制、变更控制、状态报告、配置审计
持续交互：在devops的部署和运维环节帮助实现每个sprint的持续交付
管理批量主机/网络/云：通过相应模块和插件管理远程主机，网络和云上的资源
2.2 特点
Agentless，无需在远程主机安装任何代理
Free and Open Source Software，Ansible是一个很受欢迎的开源项目，github有很多的扩展模块和插件等资源
Extensible，可通过编程接口开发模块和插件
Integrating into Existing DevOps Workflows，可通过获取CMDB的数据动态生成inventory；通过git，subversion获取代码将开发和部署连接起来；通过API扩展开发能调用ansible指令和剧本的服务，结合UI实现应用部署的自动调用和可视化管理.
2.3 如何工作
主要基于SSH登录和操作远程设备，通过ansible指令调用模块和插件批量管理inventory中的主机。
三.架构
图 1
3.1 Inventory
Inventory配置了需要使用anshible管理的主机的组和列表，inventory默认存储在/etc/ansible/hosts，如下配置了两个组localhosts和azurehosts，分别增加了两台主机
[localhosts]
host1 ansible_ssh_host = 192.168.0.1
[azurehosts]
host2 ansible_ssh_host = **.**.**.**
要确保ansible主机能登录到远程主机，需要再本机生成ssh-key,然后copy到远程主机以实现ssh登录
ssh-keygen
#需提供登录用户的密码
ssh-copy-id -i .ssh/id_rsa.pub root@192.168.153.129
#测试登录
ssh root@192.168.153.129
3.2 Modules
Ansible基于对具体功能的模块的调用来对远程设备进行操作，如下指令，Ansible调用ping模块去检查和远程所有主机的连接状况
$ ansible -m ping all
常用模块可分为以下几类
3.2.1 System
file: 操作系统级别模块, 文件传输，拷贝，删除
yum: 安装，管理软件
command:向远程主机发送linux命令，
shell: 执行批量指令
3.2.2 Third party(Cloud)
第三方平台，如azure系列模块
azure_rm_deployment: 部署虚拟机
azure_rm_machines: 管理（开机，关机，检查状态 ）azure虚拟机
3.2.3 Virtualazation
docker: 用于管理docker
http://docs.ansible.com/ansible/list_of_network_modules.html
3.2.4 Networking
通过调用网络层管理软件的指令，实现网络基本配置(IP,SubNet,Port)，网络互连等
bigip_command(F5),bigip_divice_dns(F5), netconf_config(Netconf)
3.2.5 System Application
git,subversion,appache2_module
3.3 API(Application Programming Interface)
Ansible使用Python开发，应用程序编程接口支持Python，PHP等语言进行plugin，module的开发，可以开发调用Ansible指令的服务，开发作为模块补充功能（Email，look_up）的plugin。
3.4 Plugin
Plugin 是模块功能的补充，模块一遍偏向于公用的系统操作的功能，而Plugin偏向于具体运维业务的功能，如查询，邮件通知等.
3.5 Networking
Ansible的管理对象包括大部分的网络节点，Ansible网络层面的模块帮助用户实现网络基础配置，网络互连等自动化管理
3.6 CMDB(Configuration Management Database)
Ansible对于远程对象的管理，是基于inventory中的主机和组的配置，inventory我们可以指定特定文件，而不是用默认文件，也可以从配置管理数据库中实时地获取有效的配置更新到ansible主机.
3.6 Cloud
Cloud平台如azure可以在azure portal管理云上的服务和虚拟机，Ansible通过azure系列模块，便可方便的管理虚拟机,服务,接口等.
https://docs.ansible.com/ansible/guide_azure.html
3.7 Playbooks
我们可以执行一条ad-hoc的ansible指令完成一个操作，如下，向azurehosts这个组的主机复制了一个文件夹.
ansible azurehosts -m copy -a "src=/etc/hosts dest=/tmp/hosts"
相比于快速的临时的指令，在对远程设备应用部署，环境配置和管理过程中，我们需要执行的是一系列的指令，我们将这些指令编写在一个.yml文件中，这就是一个playbook,使用
ansible-playbook test.yml –extra-var=”@test.json”
或者
ansible-playbook test.yml –extra-var=”group=azurehost”
就可以批量执行剧本中的任务，通过–extra-var传入json或赋值变量作为参数.
所以，如果说ansible是一个以模块，Inventory，API和插件为基础工具或者引擎，那么使用Ansible实践的解决方案的核心就是playbooks.
四.基础实践
目标：在多台linux服务器部署并管理一个NodeJS应用
设备：一台安装Ansible的CentOS虚拟机，两台CentOS虚拟机，一台Azure云虚拟机
4.1 解决方案1：直接在要部署的机器上进行操作
步骤：
(1) 基本环境安装和设置
1.全局安装node，NPM
2.打开防火墙目标端口，重启防火墙
3.安装node 进程管理工具（PM2）
(2)部署应用
1.检查应用部署路径
2.二次部署先，检查应用运行状况
3.从代码托管服务器下载代码，copy到目标路径
4.根据package.json安装dependencies
5.使用pm2启动应用
(3)管理和维护
有小的更新时，单独上传代码并重启应用，通过pm2查看应用状态
用xshell登录在多台主机，分别执行以上步骤对应的指令
4.2 解决方案2：使用ansible中心机器对两组主机进行环境安装和部署
4.2.1 解决方案架构
图 2
我们将包含批量指令或模块调用的playbooks.yml和运行参数playbooks.json托管在gitlab； 将要部署的代码也放在gitlab；
Ansible机器的用户使用ansible-playbook执行playbooks完成相应对远程主机的安装，部署，和应用启动等操作
步骤：
1.配置inventory
sudo vi /etc/ansible/hosts
[azureservers]
azurehost0 ansible_ssh_host=*.*.*.*
# azurehost1 ansible_ssh_host=*.*.*.*
[localhosts]
localhost1 ansible_ssh_host=192.168.153.129
localhost2 ansible_ssh_host=192.168.153.132
2.创建source文件夹用于克隆gitlab repo，playbooks, vars.json到本地
3.编写服务运行环境基本要求，和应用信息(部署目录，应用名称等)的参数
4.编写playbooks，包含配置和部署目标主机的任务列表
4.2.2扩展
1. 编写Python plugin从cmdb 动态获取有效的主机列表到ansible机器的inventory
2. 使用playbook_executer API的方式调用执行playbooks
3. 使用Pyphon编写web API，调用playbook_executer方法，实现可视化的剧本执行
4.2.3playbooks
1.配置远程主机node/express/pm2运行环境
运行playbook 完成环境配置:
$ ansible-playbook sys_ensure.yml --extra-var="@vars.json"
vars.json
{
"host_group":"all",
"app_port":8000,
"node_download_url":"http://cdn.npm.taobao.org/dist/node/v8.0.0/node-v8.0.0-linux-x64.tar.xz",
"node_package_name":"node-v8.0.0-linux-x64.tar.xz",
"download_node_folder_name":"node-v8.0.0-linux-x64",
"target_node_folder_name":"nodejs",
"node_install_path":"/usr/local/",
"usr_local_bin_path":"/usr/local/bin",
"installed_node_cmd_path":"/usr/local/nodejs/bin/node",
"installed_npm_cmd_path":"/usr/local/nodejs/bin/npm",
"pm_tool":"pm2",
"node_bin_path":"/usr/local/nodejs/bin"
}
sys_ensure.yml
---
- hosts: "{{ host_group }}"
gather_facts: no
tasks:
- name: Check nodejs installation.
command: "node -v"
register: node_v_result
ignore_errors: True
- name: Check npm installation.
command: "npm -v"
register: npm_v_result
ignore_errors: True
- name: Check wget installation.
command: "wget -help"
register: wget_result
ignore_errors: True
- name: Install wget.
yum:
name: wget
state: latest
when: wget_result | failed
- name: Download nodejs.
command: "wget {{ node_download_url }}"
when: node_v_result | failed or npm_v_result | failed
- name: Decompress nodejs package.
command: "tar xf {{ node_package_name }} -C {{ node_install_path }}"
when: node_v_result | failed or npm_v_result | failed
- name: Rename '{{ download_node_folder_name }}' to '{{ target_node_folder_name }}'
command: "mv {{ node_install_path }}{{ download_node_folder_name }} {{ node_install_path }}{{ target_node_folder_name }}"
when: node_v_result | failed or npm_v_result | failed
- name: Update system PATH, add node cmd.
command: "ln -s {{ installed_node_cmd_path }} {{ usr_local_bin_path }}"
when: node_v_result | failed or npm_v_result | failed
- name: Update system PATH, add npm cmd.
command: "ln -s {{ installed_npm_cmd_path }} {{ usr_local_bin_path }}"
when: node_v_result | failed or npm_v_result | failed
- name: Open the application port.
command: "firewall-cmd --zone=public --add-port={{ app_port }}/tcp --permanent"
ignore_errors: True
- name: Reload firewall
command: "firewall-cmd --reload"
ignore_errors: True
- include: pm2_ensure.yml
vars:
host_group: localhosts
node_bin_path: "/usr/local/nodejs/bin"
pm2_ensure.yml
---
- hosts: "{{ host_group }}"
gather_facts: no
tasks:
- name: check the installation of pm2
command: "{{ node_bin_path }}/pm2 -v"
register: pm2_ensure_result
ignore_errors: True
- name: Install pm2 node module.
command: "npm install pm2 -g"
when: pm2_ensure_result | failed
2.上传代码和启动应用
运行playbook 完成部署
$ ansible-playbook publish_prepare.yml --extra-var="publish_prepare_vars.json"
$ ansible-playbook publish.yml --extra-var="@vars.json"
vars.json
{
"app_name":"express_hello",
"apps_location":"/usr/local/nodejs/apps/express_hello",
"node_bin_location":"/usr/local/nodejs/bin",
"host_group":"localhosts",
"init_file_path":"app/app.js",
"local_code_path":"../express_hello/app"
}
publish_prepare_vars.json
{
"app_name":"express_hello",
"gitlab_repo":"git@gitlab.com:***.git",
"dest":"../express_hello",
"version":"master"
}
publish_prepare.yml
---
- hosts: 127.0.0.1
gather_facts: no
tasks:
- name: remove local source code
file: "path={{ dest }} state=absent"
ignore_errors: True
connection: local
- name: git source code to center ansible host
command: "git clone {{ gitlab_repo }} {{ dest }}"
connection: local
publish.yml
---
- hosts: "{{ host_group }}"
gather_facts: no
tasks:
- name: stop {{ app_name }} if it is running on server
command: "{{ node_bin_location }}/pm2 stop {{ app_name }}"
ignore_errors: True
- name: ensure express_app folder exists
file: "path={{ apps_location }} state=directory"
- name: upload source code files to servers
copy: "src={{ local_code_path }} dest={{ apps_location }}"
- name: install app dependencies according to package.json
npm: "path={{ apps_location }}/app"
- name: use pm2 to start the app
command: "{{ node_bin_location }}/pm2 start {{ apps_location }}/{{ init_file_path }} --name {{ app_name }}"
ignore_errors: True
