supervisor安装与使用
1、supervisor简介
Supervisor是用Python开发的一套通用的进程管理程序,能将一个普通的命令行进程变为后台daemon,并监控进程状态,异常退出时能自动重启。它是通过fork/exec的方式把这些被管理的进程当作supervisor的子进程来启动,这样只要在supervisor的配置文件中,把要管理的进程的可执行文件的路径写进去即可。也实现当子进程挂掉的时候,父进程可以准确获取子进程挂掉的信息的,可以选择是否自己启动和报警。supervisor还提供了一个功能,可以为supervisord或者每个子进程,设置一个非root的user,这个user就可以管理它对应的进程。
1.1、supervisor是所有项目的父进程:
supervisor(pid=29208)会成为主进程,管理各个项目的进程。
当项目A(pid=11531)挂掉,supervisor根据设置autorestart、startretries是否重启。
若要重启,则会重启项目A(pid=13357),
若不重启,则项目A(pid=0)。
当supervisor被kill,管理的项目全部死掉,重启supervisor(pid=14140),管理的项目都重启;
1.2、supervisor是如何知道某项目挂掉的?
子进程异常退出的时候,作为父进程肯定是能收到信号的。
1.3、supervisor 优点
-
简单
supervisor管理进程,是通过fork/exec的方式把被管理的进程,当作supervisor的子进程来启动。只要在supervisor的配置文件中,把要管理的进程的可执行文件的路径写进去就OK了。被管理进程作为supervisor的子进程,当子进程挂掉的时候,父进程可以准确获取子进程挂掉的信息的,就可以对挂掉的子进程进行自动重启。配置文件设置autostart=true,则自动重启。
-
精确
supervisor监控子进程,得到的子进程状态更准确的。
-
进程组
supervisor可以对进程组统一管理,也就是说可以把需要管理的进程写到一个组里面,然后我们把这个组作为一个对象进行管理,如启动,停止,重启等等操作。(linux系统只能一个一个的去停止,或者自己写个脚本去批量停止)。
-
集中式管理
supervisor管理的进程,进程组信息,全部都写在一个ini格式的文件里。而且supervisor提供了一个web界面上监控,管理进程。
-
有效性
当supervisor的子进程挂掉的时候,操作系统会直接给supervisor发信号。
-
可扩展性
supervisor主要提供了两个可扩展的功能。一个是event机制,再一个是xml_rpc。supervisor的web管理端和远程调用的时候,就要用到xml_rpc。
-
权限
supervisor提供了一个功能,可以为supervisord或者每个子进程,设置一个非root的user,这个user就可以管理它对应的进程了。
2、Supervisor的安装
-
配置好yum源后,可以直接安装
yum install supervisor
- Debian/Ubuntu可通过apt安装
apt-get install supervisor
3、Supervisor的使用
Supervisor 是一个 C/S 模型的程序,supervisord 是 server 端,supervisorctl 是 client 端。
supervisor配置文件:/etc/supervisord.conf
注:supervisor的配置文件默认是不全的,不过在大部分默认的情况下,上面说的基本功能已经满足。
子进程配置文件路径:/etc/supervisord.d/
注:默认子进程配置文件为ini格式,可在supervisor主配置文件中修改。
4、Supervisor的配置文件说明
4.1、supervisor.conf配置文件说明:
[unix_http_server] file=/tmp/supervisor.sock ; socket文件的路径,supervisorctl用XML_RPC和supervisord通信就是通过它进行 ; 的。如果不设置的话,supervisorctl也就不能用了 不设置的话,默认为none。 非必须设置 ;chmod=0700 ; 修改上面的那个socket文件的权限为0700 ;不设置的话,默认为0700。 非必须设置 ;chown=nobody:nogroup ; 修改上面的那个socket文件的属组为user.group ; 不设置的话,默认为启动supervisord进程的用户及属组。非必须设置 ;username=user ; 使用supervisorctl连接的时候,认证的用户。不设置的话,默认为不需要用户。 非必须设置 ;password=123 ; 和上面的用户名对应的密码,可以直接使用明码,也可以使用SHA加密 ; 如:{SHA}82ab876d1387bfafe46cc1c8a2ef074eae50cb1d ;默认不设置。。。非必须设置 ;[inet_http_server] ; 侦听在TCP上的socket,Web Server和远程的supervisorctl都要用到他 ; 不设置的话,默认为不开启。非必须设置 ;port=127.0.0.1:9001 ; 这个是侦听的IP和端口,侦听所有IP用 :9001或*:9001。 ; 这个必须设置,只要上面的[inet_http_server]开启了,就必须设置它 ;username=user ; 这个和上面的uinx_http_server一个样。非必须设置 ;password=123 ; 这个也一个样。非必须设置 [supervisord] ;这个主要是定义supervisord这个服务端进程的一些参数的 ;这个必须设置 logfile=/tmp/supervisord.log ;这个是supervisord这个主进程的日志路径,注意和子进程的日志不搭嘎。 ; 默认路径$CWD/supervisord.log,$CWD是当前目录。。非必须设置 logfile_maxbytes=50MB ;这个是上面那个日志文件的最大的大小,当超过50M的时候,会生成一个新的日志文件。当设置为0时,表示不限制文件大小 ;默认值是50M,非必须设置。 logfile_backups=10 ;日志文件保持的数量,上面的日志文件大于50M时,就会生成一个新文件。文件 ;数量大于10时,最初的老文件被新文件覆盖,文件数量将保持为10 ;当设置为0时,表示不限制文件的数量。 ;默认情况下为10。。。非必须设置 loglevel=info ; 日志级别,有critical, error, warn, info, debug, trace, or blather等 ;默认为info,非必须设置项 pidfile=/tmp/supervisord.pid ;supervisord的pid文件路径。默认为$CWD/supervisord.pid。。。非必须设置 nodaemon=false ; 如果是true,supervisord进程将在前台运行 ; 默认为false,也就是后台以守护进程运行。。。非必须设置 minfds=1024 ;这个是最少系统空闲的文件描述符,低于这个值supervisor将不会启动。 ;系统的文件描述符在这里设置cat /proc/sys/fs/file-max ;默认情况下为1024。。。非必须设置 minprocs=200 ;最小可用的进程描述符,低于这个值supervisor也将不会正常启动。 ;ulimit -u这个命令,可以查看linux下面用户的最大进程数 ;默认为200。非必须设置 ;umask=022 ;进程创建文件的掩码默认为022。。非必须设置项 ;user=chrism ;这个参数可以设置一个非root用户,当我们以root用户启动supervisord之后。 ;我这里面设置的这个用户,也可以对supervisord进行管理 ;默认情况是不设置。非必须设置项 ;identifier=supervisor ;这个参数是supervisord的标识符,主要是给XML_RPC用的。当你有多个 ;supervisor的时候,而且想调用XML_RPC统一管理,就需要为每个 ;supervisor设置不同的标识符了默认是supervisord。非必需设置 ;directory=/tmp ; 这个参数是当supervisord作为守护进程运行的时候,设置这个参数的话,启动 ; supervisord进程之前,会先切换到这个目录 ; 默认不设置。。。非必须设置 ;nocleanup=true ; 这个参数当为false的时候,会在supervisord进程启动的时候,把以前子进程 ; 产生的日志文件(路径为AUTO的情况下)清除掉。有时候咱们想要看历史日志,当 ; 然不想日志被清除了。所以可以设置为true ; 默认是false,有调试需求的同学可以设置为true。。。非必须设置 ;childlogdir=/tmp ; 当子进程日志路径为AUTO的时候,子进程日志文件的存放路径。 ; 默认路径是这个东西,执行下面的这个命令看看就OK了,处理的东西就默认路径 ; python -c "import tempfile;print tempfile.gettempdir()",非必须设置 ;environment=KEY="value" ; 这个是用来设置环境变量的,supervisord在linux中启动默认继承了linux的 ; 环境变量,在这里可以设置supervisord进程特有的其他环境变量。 ; supervisord启动子进程时,子进程会拷贝父进程的内存空间内容。 所以设置的 ; 这些环境变量也会被子进程继承。 ; 默认为不设置。。。非必须设置 ;strip_ansi=false ;这个选项如果设置为true,会清除子进程日志中的所有ANSI 序列。默认为false。。。非必须设置 ; the below section must remain in the config file for RPC ; (supervisorctl/web interface) to work, additional interfaces may be ; added by defining them in separate rpcinterface: sections [rpcinterface:supervisor] ;这个选项是给XML_RPC用的,当然你如果想使用supervisord或者web server 这个选项必须要开启的 supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface [supervisorctl] ;这个主要是针对supervisorctl的一些配置 serverurl=unix:///tmp/supervisor.sock ; 这个是supervisorctl本地连接supervisord的时候,本地UNIX socket路径,注意这个是和前面的[unix_http_server]对应的 ; 默认值就是unix:///tmp/supervisor.sock。。非必须设置 ;serverurl=http://127.0.0.1:9001 ; 这个是supervisorctl远程连接supervisord的时候,用到的TCP socket路径 ; 注意这个和前面的[inet_http_server]对应.默认就是http://127.0.0.1:9001。。。非必须项 ;username=chris ; 用户名,默认空。。非必须设置 ;password=123 ; 密码默认空。。非必须设置 ;prompt=mysupervisor ; 输入用户名密码时候的提示符默认supervisor。。非必须设置 ;history_file=~/.sc_history ; 这个参数和shell中的history类似,我们可以用上下键来查找前面执行过的命令 ;默认是no file的。。所以我们想要有这种功能,必须指定一个文件。。。非必须设置 ; The below sample program section shows all possible program subsection values, ; create one or more 'real' program: sections to be able to control them under ; supervisor. ;[program:theprogramname] ;这个就是咱们要管理的子进程了,":"后面的是名字,最好和实际进程有点关联最好。这样的program我们可以设置一个或多个,一个program就是要被管理的一个进程 ;command=/bin/cat ; 这个就是我们的要启动进程的命令路径了,可以带参数 ; 有一点需要注意的是,我们的command只能是那种在终端运行的进程,不能是 ; 守护进程。比如说command=service httpd start。 ; httpd这个进程被linux的service管理了,我们的supervisor再去启动这个命令 ; 这已经不是严格意义的子进程了。这个是个必须设置的项 ;process_name=%(program_name)s ; 这个是进程名,如果我们下面的numprocs参数为1的话,就不用管这个参数 ; 了,它默认值%(program_name)s也就是上面的那个program冒号后面的名字, ; 但是如果numprocs为多个的话,那就不能这么干了。 ;numprocs=1 ; 启动进程的数目。当不为1时,就是进程池的概念,注意process_name的设置默认为1 。。非必须设置 ;directory=/tmp ; 进程运行前,会前切换到这个目录.默认不设置。。。非必须设置 ;umask=022 ; 进程掩码,默认none,非必须 ;priority=999 ; 子进程启动关闭优先级,优先级低的,最先启动,关闭的时候最后关闭.默认值为999 。。非必须设置 ;autostart=true ; 如果是true的话,子进程将在supervisord启动后被自动启动.默认就是true 。。非必须设置 ;autorestart=unexpected ; 这个是设置子进程挂掉后自动重启的情况,有三个选项,false,unexpected ; 和true。如果为false的时候,无论什么情况下,都不会被重新启动, ; 如果为unexpected,只有当进程的退出码不在下面的exitcodes里面定义的退 ; 出码的时候,才会被自动重启。当为true的时候,只要子进程挂掉,将会被无条件的重启 ;startsecs=1 ; 这个选项是子进程启动多少秒之后,此时状态如果是running,则我们认为启动成功了 ; 默认值为1。非必须设置 ;startretries=3 ; 当进程启动失败后,最大尝试启动的次数。。当超过3次后,supervisor将把此进程的状态置为FAIL ; 默认值为3。非必须设置 ;exitcodes=0,2 ; 注意和上面的的autorestart=unexpected对应。。exitcodes里面的定义的 ; 退出码是expected的。 ;stopsignal=QUIT ; 进程停止信号,可以为TERM, HUP, INT, QUIT, KILL, USR1, or USR2等信号 ; 默认为TERM 。。当用设定的信号去干掉进程,退出码会被认为是expected非必须设置 ;stopwaitsecs=10 ; 这个是当我们向子进程发送stopsignal信号后,到系统返回信息 ; 给supervisord,所等待的最大时间。 超过这个时间,supervisord会向该子进程发送一个强制kill的信号。 ; 默认为10秒。。非必须设置 ;stopasgroup=false ; 这个东西主要用于,supervisord管理的子进程,这个子进程本身还有 ; 子进程。那么我们如果仅仅干掉supervisord的子进程的话,子进程的子进程 ; 有可能会变成孤儿进程。所以咱们可以设置可个选项,把整个该子进程的 ; 整个进程组都干掉。 设置为true的话,一般killasgroup也会被设置为true。 ; 需要注意的是,该选项发送的是stop信号 ; 默认为false。。非必须设置。。 ;killasgroup=false ; 这个和上面的stopasgroup类似,不过发送的是kill信号 ;user=chrism ; 如果supervisord是root启动,我们在这里设置这个非root用户,可以用来管理该program,默认不设置。。。非必须设置项 ;redirect_stderr=true ; 如果为true,则stderr的日志会被写入stdout日志文件中默认为false,非必须设置 ;stdout_logfile=/a/path ; 子进程的stdout的日志路径,可以指定路径,AUTO,none等三个选项。 ; 设置为none的话,将没有日志产生。设置为AUTO的话,将随机找一个地方 ; 生成日志文件,而且当supervisord重新启动的时候,以前的日志文件会被 ; 清空。当 redirect_stderr=true的时候,sterr也会写进这个日志文件 ;stdout_logfile_maxbytes=1MB ; 日志文件最大大小,和[supervisord]中定义的一样。默认为50 ;stdout_logfile_backups=10 ; 和[supervisord]定义的一样。默认10 ;stdout_capture_maxbytes=1MB ; 这个东西是设定capture管道的大小,当值不为0的时候,子进程可以从stdout发送信息,而supervisor可以根据信息,发送相应的event。默认为0,为0的时候表达关闭管道,非必须项 ;stdout_events_enabled=false ; 当设置为ture的时候,当子进程由stdout向文件描述符中写日志的时候,将触发supervisord发送PROCESS_LOG_STDOUT类型的event默认为false。。。非必须设置 ;stderr_logfile=/a/path ; 这个东西是设置stderr写的日志路径,当redirect_stderr=true。这个就不用设置了,设置了也是没用。因为它会被写入stdout_logfile的同一个文件中 ; 默认为AUTO,也就是随便找个地存,supervisord重启被清空。。非必须设置 ;stderr_logfile_maxbytes=1MB ;stderr_logfile_backups=10 ;stderr_capture_maxbytes=1MB ;和stdout_capture一样。 默认为0,关闭状态 ;stderr_events_enabled=false ; 默认为false ;environment=A="1",B="2" ; 为该子进程的环境变量,和别的子进程是不共享的 ;serverurl=AUTO ; ; The below sample eventlistener section shows all possible ; eventlistener subsection values, create one or more 'real' ; eventlistener: sections to be able to handle event notifications ; sent by supervisor. ;[eventlistener:theeventlistenername] ;这个东西其实和program的地位是一样的,也是suopervisor启动的子进程,不过它干的活是订阅supervisord发送的event。他的名字就叫 ;listener了。我们可以在listener里面做一系列处理,比如报警等等 ;command=/bin/eventlistener ; 这个和上面的program一样,表示listener的可执行文件的路径 ;process_name=%(program_name)s ; 这个也一样,进程名,当下面的numprocs为多个的时候,才需要。否则默认就可以 ;numprocs=1 ; 相同的listener启动的个数 ;events=EVENT ; event事件的类型,也就是说,只有写在这个地方的事件类型。才会被发送 ;buffer_size=10 ; 这个是event队列缓存大小,单位不太清楚,楼主猜测应该是个吧。当buffer超过10的时候,最旧的event将会被清除,并把新的event放进去。默认值为10。。非必须选项 ;directory=/tmp ; 进程执行前,会切换到这个目录下执行默认为不切换。。。非必须 ;umask=022 ; 默认为none,不说了 ;priority=-1 ; 启动优先级,默认-1,也不扯了 ;autostart=true ; 是否随supervisord启动一起启动,默认true ;autorestart=unexpected ; 是否自动重启,和program一个样,分true,false,unexpected等,注意unexpected和exitcodes的关系 ;startsecs=1 ; 也是一样,进程启动后跑了几秒钟,才被认定为成功启动,默认1 ;startretries=3 ; 失败最大尝试次数,默认3 ;exitcodes=0,2 ; 期望或者说预料中的进程退出码, ;stopsignal=QUIT ; 干掉进程的信号,默认为TERM,比如设置为QUIT,那么如果QUIT来干这个进程那么会被认为是正常维护,退出码也被认为是expected中的 ;stopwaitsecs=10 ; max num secs to wait b4 SIGKILL (default 10) ;stopasgroup=false ; send stop signal to the UNIX process group (default false) ;killasgroup=false ; SIGKILL the UNIX process group (def false) ;user=chrism ;设置普通用户,可以用来管理该listener进程。默认为空。。非必须设置 ;redirect_stderr=true ; 为true的话,stderr的log会并入stdout的log里面默认为false。。。非必须设置 ;stdout_logfile=/a/path ;stdout_logfile_maxbytes=1MB ;stdout_logfile_backups=10 ;stdout_events_enabled=false ;stderr_logfile=/a/path ;stderr_logfile_maxbytes=1MB ;stderr_logfile_backups ;stderr_events_enabled=false ;environment=A="1",B="2" ;这个是该子进程的环境变量默认为空。。。非必须设置 ;serverurl=AUTO ; override serverurl computation (childutils) ; The below sample group section shows all possible group values, ; create one or more 'real' group: sections to create "heterogeneous" ; process groups. ;[group:thegroupname] ;这个东西就是给programs分组,划分到组里面的program。我们就不用一个一个去操作了 ;我们可以对组名进行统一的操作。 注意:program被划分到组里面之后,就相当于原来 ;的配置从supervisor的配置文件里消失了。。。supervisor只会对组进行管理,而不再 ;会对组里面的单个program进行管理了 ;programs=progname1,progname2 ; 组成员,用逗号分开这个是个必须的设置项 ;priority=999 ; 优先级,相对于组和组之间说的默认999。。非必须选项 ; The [include] section can just contain the "files" setting. This ; setting can list multiple files (separated by whitespace or ; newlines). It can also contain wildcards. The filenames are ; interpreted as relative to this file. Included files *cannot* ; include files themselves. ;[include] ;这个东西挺有用的,当我们要管理的进程很多的时候,写在一个文件里面就有点大了。我们可以把配置信息写到多个文件中,然后include过来 ;files = relative/directory/*.ini
4.2、子进程配置文件说明:
给需要管理的子进程(程序)编写一个配置文件,放在/etc/supervisor.d/目录下,以.ini作为扩展名:
#项目名 [program:blog] #脚本目录,; 程序的启动目录 directory=/opt/bin #脚本执行命令 command=/usr/bin/python /opt/bin/test.py #supervisor启动的时候是否随着同时启动,默认True autostart=true #当程序exit的时候,这个program不会自动重启,默认unexpected,设置子进程挂掉后自动重启的情况,有三个选项,false,unexpected和true。如果为false的时候,无论什么情况下,都不会被重新启动,如果为unexpected,只有当进程的退出码不在下面的exitcodes里面定义的 autorestart=false #这个选项是子进程启动多少秒之后,此时状态如果是running,则我们认为启动成功了。默认值为1 startsecs=1 #脚本运行的用户身份 user = test #日志输出 stderr_logfile=/tmp/blog_stderr.log stdout_logfile=/tmp/blog_stdout.log #把stderr重定向到stdout,默认 false redirect_stderr = true #stdout日志文件大小,默认 50MB stdout_logfile_maxbytes = 20M #stdout日志文件备份数 stdout_logfile_backups = 20
4.3、子进程配置示例:
#说明同上 [program:openfire]
environment = JAVA_HOME="/usr/local/xoa/jdk1.8"
command=/usr/local/xoa/openfire/bin/openfire
runstartsecs=30
5、supervisorctl命令说明
supervisorctl 是 supervisord 的命令行客户端工具,使用的配置和 supervisord 一样,这里就不再说了。下面,主要介绍 supervisorctl 操作的常用命令:
输入命令 supervisorctl 进入 supervisorctl 的 shell 交互界面,就可以在下面输入命令了。:
- help # 查看帮助
- status # 查看程序状态
- stop program_name # 关闭 指定的程序
- start program_name # 启动 指定的程序
- restart program_name # 重启 指定的程序
- tail -f program_name # 查看 该程序的日志
- update # 重启配置文件修改过的程序(修改了配置,通过这个命令加载新的配置)
也可以直接通过 shell 命令操作:
//【注:把program_name换成all可以管理配置中的所有进程。】 supervisorctl status //查看所有进程的状态 supervisorctl stop program_name //停止指定程序 supervisorctl start program_name //启动指定程序 supervisorctl restart program_name //重启指定程序 supervisorctl update //更新新的配置到supervisord supervisorctl reload //重新启动配置中的所有程序 supervisorctl //查看正在守候的进程 systemctl start supervisord.service //启动supervisor并加载默认配置文件 systemctl enable supervisord.service //将supervisor加入开机启动项
6、常见错误
1、supervisor ERROR (spawn error)
在supervisor中配置的进程无法正常启动
supervisorctl status
可以看到运行状态,
cerebro FATAL Exited too quickly (process log may have details)
这里的信息太少,我们需要到具体的日志中查看到底出了什么问题。
tail -20 /var/log/supervisord.log
2017-08-07 13:23:36,829 INFO spawned: 'cerebro' with pid 16482
2017-08-07 13:23:36,863 INFO exited: cerebro (exit status 1; not expected)
2017-08-07 13:23:36,863 INFO gave up: cerebro entered FATAL state, too many start retries too quickly
这里的信息虽然多了些,但是并没有实质性的内容。
到底启动的时候发生了什么呢
supervisorctl tail programname stdout
该命令是动态的输出启动进程时的输出
/usr/bin/env: bash: Not a directory
发现环境变量没有正确配置。
我其实已经在/etc/profile中配置了java的环境变量,但是没有效果。
因为supervisor启动时并不会加载/etc/profile 文件。(设计本身)
但是supervisor 提供了一个配置参数enviroment
[program:cerebro]
environment = JAVA_HOME="/opt/jdk/"
command =/bin/bash /opt/cerebro/bin/cerebro
autostart =true
autorestart = true
使用
supervisorctl update
supervisorctl reload
supervisorctl status
进程正常工作
cerebro RUNNING pid 17236, uptime 0:00:08
elasticsearch RUNNING pid 17235, uptime 0:00:08
2、gave up: redis entered FATAL state, too many start retries too quickly
一般是因为进程启动太慢造成,在superisor的conf中的[program:xxxx]加入启动时间“startsecs=50”,如果还不行再加大。默认是1秒,重试3次。
一般守护进程的做法就是fork一个子进程,父进程马上退出,以致于supervisor无法得到子进程的ID。
3、supervisor 没有保活程序的原因:
1、command中执行的程序是 后台进程、或者是立刻结束的shell脚本,或者是cron表达式,这些command马上就结束的,supervisor会认为程序已结束,并且重试3次(默认),发现始终起不来,就不再守护进程。supervisorctl命令能看出进程的监控状态,RUNNING是正常的。
2、看配置文件里面有木有设置autostart=true
注意:
1、supervisor主要适用于监控前台服务。书写命令时最好以前台命令运行
2、supervisor子进程如需要依赖环境变量才可启动,写上environment 参数

浙公网安备 33010602011771号