9.python 系统批量运维管理器之Fabric模块
前面介绍了paramiko,pexpect模块,今天来说比较适合大型应用自动化部署的模块,或者执行系统命令的模块Fabric。
Fabric 是一个 Python 的库,同时它也是一个命令行工具。它提供了丰富的同 SSH 交互的接口,可以用来在本地或远程机器上自动化、流水化地执行 Shell 命令。使用 fabric 提供的命令行工具,可以很方便地执行应用部署和系统管理等操作。因此它非常适合用来做应用的远程部署及系统维护。其上手也极其简单,你需要的只是懂得基本的 Shell 命令。
fabric 依赖于 paramiko 进行 ssh 交互,fabric 的设计思路是通过几个 API 接口来完成所有的部署,因此 fabric 对系统管理操作进行了简单的封装,比如执行命令,上传文件,并行操作和异常处理等。
paramiko 是一个用于做远程控制的模块,使用该模块可以对远程服务器进行命令或文件操作,fabric 和 ansible 内部的远程管理就是使用的paramiko来现实
安装模块
Fabric的官网是 http://www.fabfile.org,源码托管在github上,可以把源码包clone到本地,使用 python3 setup.py develop 安装。
我这里使用 pip install fabric3 安装,不过 fab 命令默认安装在python目录下,需要创建软连接:ln -s 默认安装路径 /usr/bin/fab 添加到环境变量即可
Fabric简介和各个版本差异比较:http://www.mamicode.com/info-detail-2337088.html
安装成功
fab常用参数
fab作为Fabric程序的命令行入口,提供了丰富的参数调用,命令的格式如下:
fab [options] <command>[:arg1,arg2-val2,host=foo,host='h1;h2'...]...
参数详解:
- -l:显示定义好的任务函数名,
- -f:指定fab入口文件,默认入口文件名为fabric.py,
- -g:指定网关(中转)设备,比如堡垒机环境,填写堡垒机IP即可,
- -H:指定目标主机,多台用 "," 分割,
- -P:以异步并行的方式运行多主机任务,默认为串行运行,
- -R:指定role(角色),以角色名区分不同业务组设备,
- -t:设置设备连接超时时间,
- -T:设置远程主机命令执行超时时间(秒),
- -w:当命令执行失败,发出警告,而非默认中止任务。
有时候我们甚至不需要写代码就可以执行远程操作,直接使用命令行形式:
fab -p 12580(密码) -H 192.168.0.132 -- 'uname -a'
运行结果:
不少人反映命令执行总有paramiko的cryptography爆错
应为paramiko2.4.2依赖cryptography,而最新的cryptography==2.5里有一些弃用的API。
只需卸载cryptography的2.5版本,并且安装2.4.2即可
pip uninstall cryptography==2.5
pip install cryptography==2.4.2
fabfile的编写以及全局属性设定
fabfile的主体由多个自定义的任务函数组成,不同任务实现不同的操作逻辑。
env对象的作用是定义fabfile的全局设定,支持多个属性,包括目标主机,用户,密码,角色,各属性说明如下:
- env.host:定义目标主机,可以用IP或者主机名表示,以python的列表形式定义,如env.hosts=['192.168.0.131','192.168.0.132']。
- env.exclude_hosts:排除指定主机,如env.exlcue_hosts=['192.168.0.132']。
- env.user:定义用户名,如env.user='root'。
- env.port:定义目标主机端口,默认为22,如env.port='22'。
- env.password:定义密码,如env.password='123456'。
- env.passwords:与password功能一样,区别在于不同主机不同密码的应用场景,需要注意的是,配置passwords时需配置用户,主机,端口等信息,如 env.passwords = {
'root@192.168.0.122:22':'123456'
}
- env.gateway:定义网关(中转,堡垒机)IP,如env.gateway='192.168.0.132'。
- env.deploy_release_dir:自定义全局变量,格式:env.+"变量名称",如env.deploy_release_dir,env.age,env.sex等。
- env.roledefs:定义角色分组,比如web组与db组主机区分开来,定义如下:
env.roledefs = {
'webservers':['192.168.0.1','192.168.0.2'],
'dbservers':['192.168.0.3']
}
引用时使用python修饰符的形式进行,角色修饰符下面的任务函数为其作用域,举个例子:
@roles('webservers')
def webtask():
run('/etc/init.d/nginx start')
@roles('dbservers')
def dbtask():
run('/etc/init.d/mysql start')
@roles('webservers','dbservers')
def pubclitask():
run('uptime')
def deploy():
execute(webtask)
execute(dbtask)
execute(pubclitask)
在命令执行 fab -f deploy 就可以实现不同角色执行不同的任务函数了。
常用API
Fabric提供了一组简单但功能强大的fabric.api命令集,简单的调用这些API就能完成大部分应用场景需求。Fabric支持常用的方法及说明如下:
- local:执行本地命令,如 local('uname -a')
- lcd:切换本地目录,如 lcd('/home')
- cd:切换远程目录,如 cd('/data/logs')
- run:执行远程命令,如 run('free -m')
- sudo:sudo方式执行 远程命令,如 sudo('/etc/init.d/httpd start')
- put:上传本地文件到远程主机,如 put('/home/user.info','/data/user.info')
- get:从远程主机下载文件到本地,如 get('/data/user.info','/home/user.info')
- prompt:获得用户输入信息,如 prompt('请输入密码:')
- confirm:获得提示信息确认,如 confirm('tests failed,Continue[Y/N]?')
- reboot:重启远程主机,如 reboot()
- @task:函数修饰符,标识的函数为 fab 可调用的,非标记的对 fab 不可见,纯业务逻辑
- @runs_once:函数修饰符,标识的函数只会执行一次,不受多台主机影响。
下面结合一些示例来理解上面API
异常处理
fabric 当执行返回码出现非0的命令时, 直接抛出异常退出的。这种异常不是Exception异常, 而是一个SystemExit异常。如果需要捕捉异常处理, 只需要
:::python
try:
fab_execute(publish_ccms_pd_root, host=self.host, info=self.info, functions=self.functions)
except SystemExit:
self.write_error()
或者:
:::python
try:
run('''ls -al ''')
except SystemExit:
event()
但不建议这样做, 如果你仅仅是碰到错误还是要继续执行, 而不做异常的操作。可以使用官方的 settings.warn_only = True , 这样的话碰到不正常返回码仅仅会抛出Warning 信息。
:::python
from fabric.state import env
env.warn_only = True
或者:
:::python
from fabric.api import settings
with settings(warn_only=True):
run('ls -al')
一些示例
示例一 查看本地与远程主机信息
通过调用local()方法执行本地(主控端)命令,添加 "@runs_once" 修饰符保证该任务只执行一次,调用run()方法执行远程命令。
#coding=utf-8
from fabric.api import *
env.user = "root"
env.password = "12580"
env.hosts = ['192.168.0.132']
#查看本地系统信息,当有多台主机时只运行一次
@runs_once
def local_task(): #本地任务函数
local("uname -a")
def remote_task():
#with的作用是让后面的表达式的语句继承当前状态,实现cd /root && ls -l 的效果
with cd("/root"):
run("ls -l")
运行结果:
示例二 动态获取远程目录列表
使用 "@task" 修饰符标志入口函数go()对外部可见,配合 "@runs_once" 修饰符接收用户输入,最后调用worktask()任务函数实现远程命令执行。
#coding=utf-8
from fabric.api import *
env.user = 'root'
env.password = '12580'
env.hosts = ['192.168.0.132']
#主机遍历过程中,只有第一台触发此函数
@runs_once
def input_raw():
return prompt("Please input directory name: ",default = "/home")
def worktask(dirname):
run("ls -l "+dirname)
#限定只有go函数对fab命令可见
@task
def go():
getdirname = input_raw()
worktask(getdirname)
运行结果:
示例三 网关模式文件上传与执行
通过Fabric的env对象定义网关模式,即中转请求,堡垒机环境。定义格式为"env.gateway='192.168.0.132'",其中IP "192.168.0.132"为堡垒机IP,再结合任务函数实现目标主机文件上传与执行的操作。
#coding=utf-8 from fabric.api import * from fabric.context_managers import * from fabric.contrib.console import confirm env.user = 'root' env.password = '12580' env.hosts = ['192.168.0.132']
#定义堡垒机IP,作为文件上传,执行的中转设备 env.gateway = '192.168.0.149'
#假如所有主机密码都不一样,可以通过env.passwords字典变量一一指定 env.passwords = { 'root@192.168.0.132:22':'12580' 'root@192.168.0.133:22':'toor' #堡垒机账号信息 } lpackpath = '/home/joker/test.tar.gz' #本地安装包路径 rpackpath = '/tmp/install/' #远程安装包路径 @task def put_task(): run('mkdir -p /tmp/install') with settings(warn_only=True): result = put(lpackpath,rpackpath) if result.failed and not confirm('put file failed,Continue[Y/N]?'): abort('Aborting file put task!') @task def run_task(): with cd('/tmp/install'): run('tar -zxvf test.tar.gz') #使用with继续继承/tmp/install目录位置状态
with cd('test/'): run('./bash.sh') @task def go(): put_task() run_task()
运行结果:
Fabric应用示例
示例一 部署LNMP业务服务环境
业务上线之前最关键的一项任务是环境部署,往往一个业务涉及多种应用环境,比如WEB,DB,PROXY,CACHE等,本示例通过env.roledefs定义不同主机角色,再使用 "@roles('webservers')" 修饰符绑定到对应的任务函数,实现不同角色主机的部署差异。
#coding=utf-8
from fabric.colors import *
from fabric.api import *
env.user = 'root'
env.roledefs = {
'webservers':['192.168.56.11','192.168.56.12'],
'dbservers':['192.168.56.13'] } env.passwords = {
'root@192.168.56.11:22':'1234567',
'root@192.168.56.12:22':'1234567',
'root@192.168.56.13:22':'1234567', } @roles('webservers') #使用webtask任务函数引用'webservers'角色修复符 def webtask(): print(yellow('Install nginx php php-fpm...')) with settings(warn_only=True): run("yum -y install nginx") run("yum -y install php-fpm php-mysql php-mbstring php-xml php-mcrypt php-gd") run("chkconfig --levels 235 php-fpm on") run("chkconfig --levels 235 nginx on") @roles('dbservers') #dbtask任务函数引用'dbservers'角色修复符 def dbtask(): print(yellow("Install Mysql...")) with settings(warn_only=True): run("yum -y install mysql mysql-server") run("chkconfig --levels 235 mysqld on") @roles('webservers','dbservers') #publictask任务函数同时引用两个角色修复符 def publictask(): #部署公共类环境,如epel、ntp等 print(yellow("Install epel ntp....")) with settings(warn_only=True): run("wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo") run("yum -y install ntp") def deploy(): execute(publictask) execute(webtask) execute(dbtask)
代码执行结果:
devops@devops-virtual-machine:~/devops$ fab -Pf simple6.py deploy
[192.168.56.11] Executing task 'publictask'[192.168.56.12] Executing task 'publictask'[192.168.56.13] Executing task 'publictask'Install epel ntp....
[192.168.56.13] run: wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repoInstall epel ntp....
[192.168.56.12] run: wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repoInstall epel ntp....
[192.168.56.11] run: wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo[192.168.56.12] out: --2018-06-23 20:32:30-- http://mirrors.aliyun.com/repo/epel-7.repo[192.168.56.11] out: --2018-06-23 20:32:30-- http://mirrors.aliyun.com/repo/epel-7.repo[192.168.56.13] out: --2018-06-23 20:32:30-- http://mirrors.aliyun.com/repo/epel-7.repo....
[192.168.56.13] run: yum -y install ntp
[192.168.56.12] run: yum -y install ntp
[192.168.56.11] run: yum -y install ntp
....
....
....
[192.168.56.11] Executing task 'webtask'[192.168.56.12] Executing task 'webtask'Install nginx php php-fpm...
[192.168.56.11] run: yum -y install nginx
Install nginx php php-fpm...
[192.168.56.12] run: yum -y install nginx
....
....
....
[192.168.56.13] Executing task 'dbtask'Install Mysql...
[192.168.56.13] run: rpm -ivh http://dev.mysql.com/get/mysql-community-release-el6-5.noarch.rpm.....
.....
.....
[192.168.56.13] run: chkconfig --levels 235 mysqld on
Done.
示例二 生产环境代码包发布管理
程序生产环境的发布是业务上线最后一个环节,要求具备源码打包,发布,切换,回滚,版本管理等功能。
生产环境代码包发布管理流程图:
#coding=utf-8
from fabric.api import *
from fabric.colors import *
from fabric.context_managers import *
from fabric.contrib.console import confirm
import time
env.user = 'root'
env.host = ['192.168.56.12','192.168.56.13']
env.passwords = {
'root@192.168.56.12:22':'1234567',
'root@192.168.56.13:22':'1234567',
}
env.project_dev_source = '/data/dev/Lwebadmin/' #开发服务器项目主目录
env.project_tar_source = '/data/dev/releases/' #开发服务器项目压缩包存储目录
env.project_pack_name = 'release' #项目压缩包前缀,文件名为release.tar.gz
env.deploy_project_root = '/data/www/Lwebadmin/' #项目生产环境主目录
env.deploy_release_dir = 'releases' #项目发布目录,位于主目录下面
env.deploy_current_dir = 'current' #对外服务的当前版本软链接
env.deploy_version = time.strftime("%Y%m%d")+"v2" #版本号
@runs_once
def input_versionid(): #获得用户输入的版本号,以便做版本回滚操作
return prompt("Please input project rollback version ID:",default="")
@task
@runs_once
def tar_source(): #打包本地项目主目录,并将压缩包存储到本地压缩包目录
prompt(yellow("Creating source package...."))
with lcd(env.project_dev_source):
local("tar -zcf %s.tar.gz ." %(env.project_tar_source + env.project_pack_name))
prompt(green("Creating source package success!"))
@task
def put_package(): #上传任务函数
prompt(yellow("Start put package...."))
with settings(warn_only=True):
with cd(env.deploy_project_root + env.deploy_release_dir):
run("mkdir %s" %(env.deploy_version)) #创建版本目录
env.deploy_full_path = env.deploy_project_root + env.deploy_release_dir + "/" + env.deploy_version
with settings(warn_only=True): #上传项目压缩包至此目录
result = put(env.project_tar_source + env.project_pack_name + ".tar.gz",env.deploy_full_path)
if result.failed and not ("put file failed,Continue[Y/N]?"):
abort("Aborting file put task!")
with cd(env.deploy_full_path): #成功解压后删除压缩包
run("tar -zxvf %s.tar.gz" %(env.project_pack_name))
run("rm -rf %s.tar.gz" %(env.project_pack_name))
print(green("Put & untar package success!"))
@task
def make_symlink(): #为当前版本目录做软链接
print(yellow("update current symlink"))
env.deploy_full_path = env.deploy_project_root + env.deploy_release_dir + "/" + env.deploy_version
with settings(warn_only=True): #删除软链接,重新创建并指定软链接源目录,新版本生效
run("rm -rf %s" %(env.deploy_project_root + env.deploy_current_dir))
run("ln -s %s %s" %(env.deploy_full_path,env.deploy_project_root + env.deploy_current_dir))
print(green("make symlink success!"))
@task
def rollback(): #版本回滚任务函数
print(yellow("rollback project version"))
versionid = input_versionid() #获取用户输入的回滚版本号
if versionid == '':
abort("Project version ID error,abort!")
env.deploy_full_path = env.deploy_project_root + env.deploy_release_dir + "/" + versionid
run("rm -r %s" %(env.deploy_project_root + env.deploy_current_dir))
run("ln -s %s %s" %(env.deploy_full_path,env.deploy_project_root + env.deploy_current_dir)) #删除软链接,重新创建并指定软链接源目录,新版本生效
print(green("rollback sucess!"))
@task
def go(): #自动化程序版本发布入口函数
tar_source()
put_package()
make_symlink()
在生产环境中将站点的根目录指向"/data/www/Lwebadmin/current",由于使用Linux软链接做切换,管理员的版本发布、回滚操作用户无感知。
参考链接:
https://blog.csdn.net/freeking101/article/details/81103945
fabric 官网英文文档:http://www.fabfile.org/
fabric 中文站点:http://fabric-chs.readthedocs.io/zh_CN/chs/
python三大神器之一fabric使用:https://www.cnblogs.com/rufus-hua/p/5144210.html
如何用Fabric实现无密码输入提示的远程自动部署:https://blog.csdn.net/slvher/article/details/50414675
fabric实现远程操作和部署:http://python.jobbole.com/83716/
自动化运维管理 fabric:http://www.ttlsa.com/python/automation-operation-and-maintenance-tool-fabric/
Python3自动化运维之Fabric模版详解:https://www.imooc.com/article/38448
《Python自动化运维技术与最佳实践》