集中化管理平台 — Ansible 详解
# Ansible 简介
Ansible 类似于Saltstack,是一种集成IT系统的配置管理、应用部署、执行特定任务的开源平台。Ansible基于Python语言实现,由Paramiko和PyYAML两个关键模块构建。Ansible具有以下特点:
- 部署简单,只需要在主控端部署Ansible环境,被控端无需做任何操作;
- 默认使用SSH(Secure SHell)协议对设备进行管理;
- 主从集中化管理;
- 配置简单、功能强大、扩展性强;
- 支持API及自定义模块,可通过Python轻松扩展;
- 通过Playbooks来定制强大的配置、状态管理;
- 对云计算平台、大数据都有很好的支持;
- 提供一个功能强大、操作性强的Web管理界面和REST API接口——AWX平台;
- 幂等性:一种操作重复多次结果相同。
Ansible与Saltstack最大的区别是Ansible无需在被控主机部署任何客户端代理,默认直接通过SSH通道进行远程命令执行或下发配置;相同点是都具备功能强大、灵活的系统管理、状态配置,都使用YAML格式来描述配置,两者都提供丰富的模板及API,对云计算平台、大数据都有很好的支持。Ansible在GitHub上的地址为https://github.com/ansible/,可参考其中的配置。
# Ansible 安装及配置
Ansible只需在管理端部署环境即可,建议采用yum源方式来实现部署,需要安装epel扩展源。我的测试环境为:CentOS release 6.6,自带Python 2.6.6。
# rpm -ivh https://mirrors.ustc.edu.cn/epel/6/x86_64/epel-release-6-8.noarch.rpm # yum install ansible
ansible 配置及测试
在ansible的配置文件中添加主机信息,即可与目标主机进行通信,配置文件位置/etc/ansible/hosts,其中,[webservers]为主机组,可以批量控制主机组里面的所有主机,一个主机可以添加到多个组。
【 /etc/ansible/hosts 】
## green.example.com ## blue.example.com ## 192.168.100.1 ## 192.168.100.10 192.168.1.74 192.168.1.75 [webservers] ## alpha.example.org ## beta.example.org ## 192.168.1.100 ## 192.168.1.110 192.168.1.74 192.168.1.75
通过ping模块测试主机的连通性,出现下面的结果表示安装、测试成功。(需要配置主控机无密码SSH访问)
[root@CentOS6 ~]# ansible 192.168.1.75 -m ping 192.168.1.75 | SUCCESS => { "changed": false, "ping": "pong" }
ansible 命令集:
/usr/bin/ansible: # Ansibe AD-Hoc 临时命令执行工具,常用于临时命令的执行
/usr/bin/ansible-doc: # Ansible 模块功能查看工具
/usr/bin/ansible-galaxy: # 下载/上传优秀代码或Roles模块的官网平台,基于网络的
/usr/bin/ansible-playbook: # Ansible 定制自动化的任务集编排工具
/usr/bin/ansible-pull: # Ansible远程执行命令的工具(使用较少,海量机器时使用,对运维的架构能力要求较高)
/usr/bin/ansible-vault: # Ansible 文件加密工具
/usr/bin/ansible-console: # Ansible基于Linux Consoble界面可与用户交互的命令执行工具
/etc/ansible/ansible.cfg:配置文件
/etc/ansible/hosts:主机清单
ansible 参数:
[root@node2 ~/.ssh]# ansible -h Usage: ansible <host-pattern> [options] Options: -a MODULE_ARGS, --args=MODULE_ARGS #模块的参数,如果执行默认COMMAND的模块,即是命令参数,如:“date”,"pwd"等等 module arguments #模块参数 --ask-become-pass ask for privilege escalation password # Ansible su切换用户的时候使用该参数输入密码 -k, --ask-pass ask for SSH password #登录密码,提示输入SSH密码而不是假设基于密钥的验证 --ask-su-pass ask for su password #su切换密码 -K, --ask-sudo-pass ask for sudo password #提示密码使用sudo,sudo表示提权操作 --ask-vault-pass ask for vault password # ansible-valut 加密文件 -B SECONDS, --background=SECONDS #后台运行超时时间 run asynchronously, failing after X seconds (default=N/A) -C, --check don't make any changes; instead, try to predict some #只是测试一下会改变什么内容,不会真正去执行;相反,试图预测一些可能发生的变化 of the changes that may occur -c CONNECTION, --connection=CONNECTION 连接类型使用。可能的选项是paramiko(SSH),SSH和地方。当地主要是用于crontab或启动。 connection type to use (default=smart) -e EXTRA_VARS, --extra-vars=EXTRA_VARS # 调用外部变量 -f FORKS, --forks=FORKS # Ansible一次命令执行并发的线程数,默认是5 specify number of parallel processes to use (default=5) -h, --help show this help message and exit #打开帮助文档API -i INVENTORY, --inventory-file=INVENTORY #指定库存主机文件的路径,默认为/etc/ansible/hosts specify inventory host file (default=/etc/ansible/hosts) -l SUBSET, --limit=SUBSET #进一步限制所选主机/组模式 --limit=192.168.91.135 只对这个ip执行 further limit selected hosts to an additional pattern --list-hosts outputs a list of matching hosts; does not execute anything else -m MODULE_NAME, --module-name=MODULE_NAME #执行模块的名字,默认使用 command 模块,所以如果是只执行单一命令可以不用 -m参数 module name to execute (default=command) -M MODULE_PATH, --module-path=MODULE_PATH #要执行的模块的路径,默认为/usr/share/ansible/ specify path(s) to module library (default=/usr/share/ansible/) -o, --one-line condense output #压缩输出,摘要输出.尝试一切都在一行上输出。 -P POLL_INTERVAL, --poll=POLL_INTERVAL #调查背景工作每隔数秒。需要- b set the poll interval if using -B (default=15) --private-key=PRIVATE_KEY_FILE #私钥路径,使用这个文件来验证连接 use this file to authenticate the connection -S, --su run operations with su 用 su 命令 -R SU_USER, --su-user=SU_USER #指定SU的用户,默认是root用户 run operations with su as this user (default=root) -s, --sudo run operations with sudo (nopasswd) -U SUDO_USER, --sudo-user=SUDO_USER #sudo到哪个用户,默认为 root desired sudo user (default=root) -T TIMEOUT, --timeout=TIMEOUT #指定SSH默认超时时间, 默认是10S override the SSH timeout in seconds (default=10) -t TREE, --tree=TREE log output to this directory 将日志内容保存在该输出目录,结果保存在一个文件中在每台主机上。 -u REMOTE_USER, --user=REMOTE_USER 远程用户, 默认是root用户 connect as this user (default=root) --vault-password-file=VAULT_PASSWORD_FILE vault password file -v, --verbose verbose mode (-vvv for more, -vvvv to enable 详细信息 connection debugging) --version show program's version number and exit 输出ansible的版本
# Ansible 模块
1. 远程命令模块
(1)功能
包括 command、script、shell,都可以实现远程shell命令运行。command作为Ansible的默认模块,可以运行远程权限范围所有的shell命令;script功能是在远程主机执行主控端存储的shell脚本文件,相当于scp+shell组合;shell功能是执行远程主机的shell脚本文件。
(2)实例
# ansible webservers -m command -a "free -m" # ansible webservers -m script -a "/home/local.sh 11 22" # ansible webservers -m shell -a "/home/remote.sh"
2. copy 模块
(1)功能
实现主控向目标主机拷贝文件,类似于scp功能。
##相关选项如下:
backup:在覆盖之前,将源文件备份,备份文件包含时间信息。有两个选项:yes|no
content:用于替代“src”,可以直接设定指定文件的值
dest:必选项。要将源文件复制到的远程主机的绝对路径,如果源文件是一个目录,那么该路径也必须是个目录
directory_mode:递归设定目录的权限,默认为系统默认权限
force:如果目标主机包含该文件,但内容不同,如果设置为yes,则强制覆盖,如果为no,则只有当目标主机的目标位置不存在该文件时,才复制。默认为yes
others:所有的file模块里的选项都可以在这里使用
src:被复制到远程主机的本地文件,可以是绝对路径,也可以是相对路径。如果路径是一个目录,它将递归复制。在这种情况下,如果路径使用“/”来结尾,则只复制目录里的内容,如果没有使用“/”来结尾,则包含目录在内的整个内容全部复制,类似于rsync。
(2)实例
以下示例实现拷贝 /root/install.log 文件至webservers组目标主机的 /tmp 目录下,并更新属组及权限(也可单独使用 file模块 实现权限的修改)。
[root@CentOS6 ~]# ansible webservers -m copy -a "src=/root/install.log dest=/tmp owner=root group=root mode=0744" 192.168.1.75 | SUCCESS => { "changed": true, "checksum": "efb252eb1008f522d1fad42ffac6814ff9866eb5", "dest": "/tmp/install.log", "gid": 0, "group": "root", "md5sum": "ddd53a3a0d28f1709d5ed708cb400370", "mode": "0744", "owner": "root", "size": 41433, "src": "/root/.ansible/tmp/ansible-tmp-1502165638.76-4541476614641/source", "state": "file", "uid": 0 } 192.168.1.74 | SUCCESS => { "changed": true, "checksum": "efb252eb1008f522d1fad42ffac6814ff9866eb5", "dest": "/tmp/install.log", "gid": 0, "group": "root", "md5sum": "ddd53a3a0d28f1709d5ed708cb400370", "mode": "0744", "owner": "root", "size": 41433, "src": "/root/.ansible/tmp/ansible-tmp-1502165638.84-37324169377020/source", "state": "file", "uid": 0 }
3. stat 模块
(1)功能
获取远程文件状态信息,包括 atime、ctime、mtime、md5、uid、gid 等信息。
(2)实例
[root@CentOS6 ~]# ansible webservers -m stat -a "path=/tmp/install.log" 10.10.11.75 | SUCCESS => { "changed": false, "stat": { "atime": 1502219654.9290881, "attr_flags": "e", "attributes": [ "extents" ], …………
4. get_url 模块
(1)功能
实现在远程主机下载指定url到本地,支持sha256sum文件校验。
(2)实例
[root@CentOS6 ~]# ansible webservers -m get_url -a "url=http://www.baidu.com dest=/tmp/index.html mode=0440 force=yes" 192.168.1.75 | SUCCESS => { "changed": true, "checksum_dest": null, "checksum_src": "9f661ef8555e303006ea9c7692c9186168912e6d", "dest": "/tmp/index.html", "gid": 0, "group": "root", "md5sum": "e4af2a89c405cae44bffd9f92e2cc7ef", "mode": "0440", "msg": "OK (unknown bytes)", "owner": "root", "size": 111526, "src": "/tmp/tmpN6LWN0", "state": "file", "status_code": 200, "uid": 0, "url": "http://www.baidu.com" } 192.168.1.74 | SUCCESS => { "changed": true, "checksum_dest": null, "checksum_src": "445cac70d434f7be0e9b12ed0cddf83ddbf20e4c", "dest": "/tmp/index.html", "gid": 0, "group": "root", "md5sum": "50b12aa7c56492c743a963be5d44b16a", "mode": "0440", "msg": "OK (unknown bytes)", "owner": "root", "size": 111457, "src": "/tmp/tmpJzSkLM", "state": "file", "status_code": 200, "uid": 0, "url": "http://www.baidu.com" }
5. yum 模块
(1)功能
Linux平台软件包管理操作,常见的有yum、apt管理方式。
##相关选项如下:
conf_file #设定远程yum安装时所依赖的配置文件。如配置文件没有在默认的位置。
disable_gpg_check #是否禁止GPG checking,只用于`present' or `latest'。
disablerepo #临时禁止使用yum库。 只用于安装或更新时。
enablerepo #临时使用的yum库。只用于安装或更新时。
name= #所安装的包的名称
state #present安装, latest安装最新的, absent 卸载软件。
update_cache #强制更新yum的缓存。
(2)实例
##在远程主机安装 lftp
[root@CentOS6 ~]# ansible webservers -m apt -a "pkg=lftp state=latest" [root@CentOS6 ~]# ansible webservers -m yum -a "pkg=lftp state=latest"
6. cron 模块
(1)功能
远程主机crontab配置。
(2)实例
[root@CentOS6 ~]# ansible webservers -m cron -a "name='check dirs' hour='5,2' job='ls -alh>/dev/null'" ##远程机结果如下: [root@db_server ~]# crontab -e #Ansible: check dirs * 5,2 * * * ls -alh>/dev/null
7. mount 模块
(1)功能
远程主机分区挂载。
(2)实例
[root@CentOS6 ~]# ansible webservers -m mount -a "name=/mnt/data src=/dev/sd0 fstype=ext4 opts=ro state=present"
8. service 模块
(1)功能
远程主机系统服务管理。
##相关选项如下:
arguments #命令行提供额外的参数
enabled #设置开机启动。
name= #服务名称
runlevel #开机启动的级别,一般不用指定。
sleep #在重启服务的过程中,是否等待。如在服务关闭以后等待2秒再启动。
state #started启动服务, stopped停止服务, restarted重启服务, reloaded重载配置
(2)实例
[root@CentOS6 ~]# ansible webservers -m service -a "name=nginx state=stopped" [root@CentOS6 ~]# ansible webservers -m service -a "name=nginx state=restarted" [root@CentOS6 ~]# ansible webservers -m service -a "name=nginx state=reloaded"
9. sysctl 包管理模块
(1)功能
远程Linux主机sysctl配置。
(2)实例
sysctl: name=kernel.panic value=3 sysctl_file=/etc/sysctl.conf checks=before reload=yessalt '*' pkg.upgrade
10. user 服务模块
(1)功能
远程主机系统用户管理。
-a ""
action: user
comment # 用户的描述信息
createhom # 是否创建家目录
force # 在使用`state=absent'是, 行为与`userdel --force'一致.
group # 指定基本组
groups # 指定附加组,如果指定为('groups=')表示删除所有组
home # 指定用户家目录
login_class #可以设置用户的登录类 FreeBSD, OpenBSD and NetBSD系统.
move_home # 如果设置为`home='时, 试图将用户主目录移动到指定的目录
name= # 指定用户名
non_unique # 该选项允许改变非唯一的用户ID值
password # 指定用户密码
remove # 在使用 `state=absent'时, 行为是与 `userdel --remove'一致.
shell # 指定默认shell
state #设置帐号状态,不指定为创建,指定值为absent表示删除
system # 当创建一个用户,设置这个用户是系统用户。这个设置不能更改现有用户。
uid #指定用户的uid
update_password # 更新用户密码
expires #指明密码的过期时间
# ansible all -m user -a 'name=magedu home=/tmp/magedu/ shell=/bin/bash uid=2000 comment="test user" group=root'
(2)实例
[root@CentOS6 ~]# ansible webservers -m user -a "name=wayne comment='Hello World'" [root@CentOS6 ~]# ansible webservers -m user -a "name=wayne state=absent remove=yes"
11. file 模块
(1)功能
设置文件属性。
##相关选项如下:
force:需要在两种情况下强制创建软链接,一种是源文件不存在,但之后会建立的情况下;另一种是目标软链接已存在,需要先取消之前的软链,然后创建新的软链,有两个选项:yes|no
group:定义文件/目录的属组
mode:定义文件/目录的权限
owner:定义文件/目录的属主
path:必选项,定义文件/目录的路径
recurse:递归设置文件的属性,只对目录有效
src:被链接的源文件路径,只应用于state=link的情况
dest:被链接到的路径,只应用于state=link的情况
state:
directory:如果目录不存在,就创建目录
file:即使文件不存在,也不会被创建
link:创建软链接
hard:创建硬链接
touch:如果文件不存在,则会创建一个新的文件,如果文件或目录已存在,则更新其最后修改时间
absent:删除目录、文件或者取消链接文件
(2)案例
-a "path=PATH state=directory" # 创建目录 [root@CentOS6 ~]# ansible all -m file -a "path=/tmp/hehe state=directory" -a "path=PATH src=FILE state=link" #创建链接文件 [root@CentOS6 ~]# ansible all -m file -a "path=/root/haha src=/tmp/hehe state=link" -a "path=PATH state=absent" #删除文件 [root@CentOS6 ~]# ansible all -m file -a "path=/root/haha state=absent"
12. fetch 模块
功能:从远程服务器拉取文件至本机,只能fetch文件,不能fetch目录。如果拉目录,先 tar/zip 再拉到本机即可。
[root@CentOS6 ~]# ansible all -m fetch -a "src=/tmp/txt dest=/root/txt.txt"
13. group 模块
功能:组管理。
[root@CentOS6 ~]# ansible-doc -s group - name: 添加或删除组 action: group gid # 设置组的GID号 name= # 管理组的名称 state # 指定组状态,默认为创建,设置值为absent为删除 system # 设置值为yes,表示为创建系统组
14. setup 模块
收集远程主机的系统景况。调用后返回很多对应主机的信息,在后面的操作中可以根据不同的信息来做不同的操作。如redhat系列用yum安装,而debian系列用apt来安装软件。
[root@CentOS6 ~]# ansible 10.10.11.75 -m setup 10.10.11.75 | SUCCESS => { "ansible_facts": { "ansible_all_ipv4_addresses": [ "10.10.11.75" ], "ansible_all_ipv6_addresses": [ "fe80::20c:29ff:feb1:73f4" ], "ansible_apparmor": { "status": "disabled" }, "ansible_architecture": "x86_64", "ansible_bios_date": "07/02/2015", ……
15. selinux 模块
管理selinux。
conf #指定应用selinux的配置文件。 state=enforcing|permissive|disabled #对应于selinux配置文件的SELINUX。 policy=targeted|minimum|mls #对应于selinux配置文件的SELINUXTYPE ##关闭selinux # ansible all -m selinux -a 'state=disabled'
待续……
# playbook 介绍
playbook 是一个不同于使用 ansible 命令行执行方式的模式,其功能更强大灵活。简单来说,playbook是一个非常简单的配置管理和多主机部署系统,不同于任何已经存在的模式,可作为一个适合部署复杂应用程序的基础。playbook可以定制配置,可以按指定的操作步骤有序执行,支持同步及异步方式。可以在 https://github.com/ansible/ansible-examples 找到大量的例子。playbook是通过YAML格式来进行描述定义的,可以实现多台主机应用的部署,定义在webservers及dbservers组上执行特定指令步骤。下面介绍一个基本的playbook实例:
【 /home/ansible/playbook/nginx.yml 】 --- - hosts: webservers vars: worker_processes: 4 num_cups: 4 max_open_file: 65506 root: /data remote_user: root tasks: - name: ensure nginx is at the latest version yum: pkg=nginx state=latest - name: write the nginx config file template: src=/home/ansible/nginx/nginx2.conf dest=/etc/nginx/nginx.conf notify: - restart nginx - name: ensure nginx is running service: name=nginx state=started handlers: - name: restart nginx service: name=nginx state=restarted
其中,
- hosts 定义主机与用户,指定了webservers组定义的主机,并定义了相关变量,变量的作用域只限于webservers组下的主机。通过 vars 参数定义了4个变量(配置模板用到),remote_user为指定远程操作的用户名,默认为root账号,支持sudo方式,通过添加sudo: yes即可。
tasks 任务列表
所有的任务列表,playbook将按定义的配置文件自上而下的顺序执行,定义的主机都将得到相同的任务,但执行的结果不一定相同,这取决于主机的环境及程序包的状态。playbook可以通过template模块对本地配置模板文件进行渲染并同步到目标主机。以nginx配置文件为例,定义如下:
tasks:
- name: write the nginx config file
template: src=/home/ansible/nginx/nginx2.conf dest=/etc/nginx/nginx.conf
notify:
- restart nginx
其中,src=/home/ansible/nginx/nginx2.conf 为管理端模板文件存放位置,dest=/etc/nginx/nginx.conf 为目标主机nginx配置文件位置。下面用一个例子来了解一下什么是模板。
【 /home/ansible/nginx/nginx2.conf 】
user nginx
worker_processes {{ worker_processes }};
{% if num_cups == 2 %}
worker_cpu_affinity 01 10;
{% elif num_cups >= 4 %}
worker_cpu_affinity 1000 0100 0010 0001;
{% else %}
worker_cpu_affinity 1000 0100 0010 0001;
{% endif %}
worker_rlimit_nofile {{ max_open_file }};
… …
Ansible 会根据定义好的模板渲染成真实的配置文件,模板用YAML语法,最终生成的nginx配置如下:
【 /etc/nginx/nginx.conf 】
user nginx
worker_processes 4;
worker_cpu_affinity 1000 0100 0010 0001;
worker_rlimit_nofile 65506;
… …
当目标主机配置文件发生变化后,通知处理程序(Handlers)来触发后续的动作,比如重启nginx服务。触发是通过Handlers定义的name标签来识别的,比如下面notify中的“restart nginx” 与 handlers中的“name: restart nginx” 保持一致。
notify:
- restart nginx
handlers:
- name: restart nginx
service: name=nginx state=restarted
执行playbook
Syntax:
ansible-playbook [options] PLAYBOOK.yml
options:
-C, --check: 测试模式, 不做任何更改, 而是尝试运行, 进行检查;
-i INVENTORY, --inventory-file=INVENTORY specify inventory host path(default=/etc/ansible/hosts) or comma separated host list. 指定主机配置文件路径;
-u REMOTE_USER, --user=REMOTE_USER:手工指定远程执行playbook的系统用户;
--list-hosts: 输出匹配的主机列表, 不执行其他操作;
--list-tags : 列出所有可用的标签;
--list-tasks: 列出所有将要执行的任务;
-t TAGS, --tags=TAGS : 只运行tags标识的任务;
--skip-tags=SKIP-TAGS : 只运行tags没有标记的任务;
--syntax-check: 对剧本执行语法检查, 但是不执行;
更多参数说明请运行 ansible-playbook --help 。
忽略错误的命令
- name: this will not be counted as a failure
command: /bin/false
ignore_errors: yes
仅执行某些t ags
ansible-playbook install_io_server.yml --tags="copyconfig" -i install_io_server_ansible.txt --step --limit io_game_server
注意:本文中的一些案列摘自刘天斯《Python自动化运维》