cfengine自动化配置系统原理与实践

2010-03-23 16:35 北方人阅读(4852) 评论(0) 编辑收藏举报

在日常系统管理工作中,管理上千台服务器,需要临时的改变其一个配置,例如删掉某个帐号停掉某个服务
一般我们只能不厌其烦的登到每一台机器上重复的完成这些动作,或者写脚本循环登录及其执行操作
如果有了cfengine,一个命令就可以搞定了.是不是很看效率，请看如下实践之体会.以下的所提到的cfengine是2.2版本的.

1. cfengine 概述

cfengine是一个功能强大的自动化系统管理工具.引用其官网的说法"cfengine是一种 UNIX 管理工具，其目的是使简单的管理的任务自动化，使困难的任务变得较容易.
它的目标是使系统从任何状态收敛到一种理想状态.使用cfengine，它可以保证你的系统总是维持你所希望的那个状态.
如果说有黑客进来了修改了某个重要的配置文件的内容或者权限,也会被cfengine自动修复！

1.1. cfengine 功能概述

检查和配置网络接口
编辑系统和用户的文本文件
维护符号链接
检查和设置文件的权限
删除垃圾文件
检查重要文件和文件系统的存在
控制用户脚本和shell命令的执行
基于类的判定结构
进程管理其他细节功能,大家可以访问它的官方网站,里面的文档十分丰富 [http://www.cfengine.org/]

1.2. 使用cfengine的益处

当你切换使用cfengine来管理系统配置时，你可以得到以下好处:

可以保证所有被管理服务器使用统一标准化的系统配置
可以针对不同的系统进行配置的变更(如linux,freebsd....）
可以记录系统变更，如果需要还可以在执行一次,将系统保持在正确的状态

1.3. cfengine 组件说明

Cfengine是一个用于设置和维护计算机系统的工具，包含了以下几个组件：

cfagent: 自动配置代理,其配置文件为update.conf 和 cfagent.conf
cfservd: 文件服务和远程激活服务,其配置文件为cfservd.conf
cfexecd: 计划执行 cfagent 命令
cfenvd: 异常检测服务
cfrun: 远程通过cfservd调用cfagent的方法,其配置文件为cfrun.hosts
cfshow: 检查有帮助的数据库的内容的方法(辅助)
cfenvgraph: 异常检测服务cfenvd的附属工具(辅助)·cfkey 密匙生成工具(每台服务器运行一次)。

1.4. cfengine 配置文件

每个系统必须要有最少的配置文件.默认情况下,你需要将配置文件放到/var/cfengine/inputs 目录中.可以集中化管理配置文件，通过拉的方式更新到所有客户端系统

update.conf: 此配置文件要保持简单,cfengine每次更新,它总是被首先解析和执行,此配置的主要任务就是从服务端拷贝一组配置文件.
如果其他配置文件有误,此配置文件也能够继续更新配置文件，在下次运行的时，就可以运行成功.
对大部分网站来说，这个文件在cfengine系统初初始运行后，不需要去变变更的.
cfagent.conf: 此配置文件是cfengine的核心文件，它包含了所有功能操作配置.可以使用文件导入功能(import功能),使配置文件易读,参考上图
cfservd.conf: 此配置文件是 cfservd 守护进程的配置文件.文件定义了那些主机可以远程执行cfagent和那些主机可以传输特定的文件.

cfengine使用到配置文件，我们需要集中化版本控制(比如Subversion).这样就可以记录所有变更，以便在需要时，可以会滚到某个特定的版本配置.

2. 使用Classes(与group相同)标识系统

cfengine中最重要的概念就是Classes. 每种系统都属于一个或者多个 classes.
cfagent每次运行的时，会根据很多各种不同信息来定义classes.可以在特定的classes执行特定的操作.
因此,任何操作都可以在一台主机上执行，也可以在运行特定操作系统的主机上运行，也可以在所有的主机上运行.
Cfengine 使用内置的和用户定义的classes.

2.1. 预定义Classes的分类

主机本生根据其架构决定很多classes 比如主机名称,主机ip,操作系统等.
很多classes 根据当前的日期和时间定义的.

为了确定在给定系统上定义了那些标准classes,可以运行如下命令:

  [root@linux]# /var/cfengine/bin/cfagent -p -v | grep Defined
  Defined Classes = ( 172_22_5 172_22_5_90 172_22_5_91 64_bit Day17 Hr11 Hr11_Q1 March Min10_15 Min11 Q1 Redhat_AS5 Wednesday Yr2010 addr_ 
  alidc_net alidc_net_hzidc_com any cfengine_01 cfengine_01_hst_xyi_cn_alidc_net cfengine_01_hst_xyi_cn_alidc_net_hzidc_com cfengine_2 
  cfengine_2_2 cfengine_2_2_3 cfengine_server cn_alidc_net cn_alidc_net_hzidc_com com compiled_on_linux_gnu fe80__216_3eff_fe16_55b 
  hst_xyi_cn_alidc_net hst_xyi_cn_alidc_net_hzidc_comhzidc_com ipv4_172 ipv4_172_22 ipv4_172_22_5 ipv4_172_22_5_90 ipv4_172_22_5_91 linux
  linux_2_6_18_131_el5_customxen linux_x86_64 linux_x86_64_2_6_18_131_el5_customxen 
  linux_x86_64_2_6_18_131_el5_customxen__1_SMP_Tue_Sep_15_15_46_11_CST_2009 lsb_compliant net net_hzidc_com
  net_iface_bond0 net_iface_lo redhat redhat_s redhat_s_5 redhat_s_5_3 redhatenterpriseserver redhatenterpriseserver_5 
  redhatenterpriseserver_5_3 redhatenterpriseserver_tikanga x86_64 xyi_cn_alidc_net xyi_cn_alidc_net_hzidc_com )

正如你所看到的,这个系统中包含了很多预定义classes,他们属于几个分类:

Operating System: redhat redhat_s redhat_s_5 redhat_s_5_3 redhatenterpriseserver redhatenterpriseserver_5 redhatenterpriseserver_5_3
Kernel: linux linux_2_6_18_131_el5_customxen linux_x86_64 linux_x86_64_2_6_18_131_el5_customxen
Architecture: 64_bit linux_x86_64 x86_64
Hostname: cfengine_01 cfengine_01_hst_xyi_cn_alidc_net cfengine_01_hst_xyi_cn_alidc_net_hzidc_com
IP Address: 172_22_5 172_22_5_90 172_22_5_91 ipv4_172 ipv4_172_22 ipv4_172_22_5 ipv4_172_22_5_90 ipv4_172_22_5_91
Date/Time: Day17 Hr11 Hr11_Q1 March Min10_15 Min11 Q1

每个系统都属于 any 这个 class,当你需要对未定义或者不能使用classes标识的系统进行操作时候，可以使用 any 这个 class.

2.2. 自定义Classes

自定义classes 配置都是在cfagent.conf 中的groups区域中,请看如下例子:

  groups:
  web_app1 = ( IPRange(172.16.2.1-250) IPRange(172.16.3.1-250) IPRange(172.16.4.1-250) )
  web_app1 = ( IPRange(172.16.6.1-250) IPRange(172.16.7.1-250) IPRange(172.16.14.1-250) )
  ntp_server= ( nagios1 nagios2 nagios3 monitor_xy7 monitor_xy8 monitor_xy9 )
  
  # 通过配置文件 判断是否属于某一类型的主机
  dns = ( '/usr/bin/test -f /etc/named.conf' )
  web_normal = ( '/usr/bin/test -f /etc/httpd/conf/httpd.conf' )
  
  # 通过cfengine内部命令来判断
  first_ten_server = ( RegCmp("webserver[0-9]i","${host}") )
  
  # all server
  all_server= ( dns web_app1 ) 
  copy:
  any::
  # 根据拷贝结果，定义新的classes
  $(clientconf)/syslog.confdest=$(etcdir)/syslog.conf
                          owner=$(fowner) group=$(fgroup)
                                    mode=644
                                    server=$(cfserver) trustkey=true 
                                    define=new_syslog
  shellcommands:
  new_syslog::
       "/etc/init.d/syslog restart > /dev/null 2>&1"

以上配置只是cfagent.conf 中的一段而已,从上面可以看出:

可以根据执行命令程序的返回结果来定义class,如果命令返回结果为0,此系统属于此定义的class.
class 的定义可以是包含已有或者已定义的class
可以根据执行操作的结果来定义新的classes.

比如上面的配置例子,当syslog.conf配置改变了，当拷贝完成时，会定义一个new_syslog的class.
在shellcommands的操作中，会根据new_syslog class 来重启syslog服务.

3. cfengine系统的搭建与使用

3.1. cfengine 配置文件管理方式

一般来说，cfengine 的配置文件,都是集中化方式管理,配置文件都通过版本控制软件进行修改和更新.
系统管理更新配置文件后，提交到svn后,cfengine server 更新配置文件，推送到客户端.

3.2. cfengine 运行方式

管理员登录主服务器更新配置文件(svn)，通过运行cfrun命令通知客户端进行更新.cfrun在cfrun.hosts 文件中查找客户端的列表.
请注意，主服务器可以自行充当客户端。此图中有两个客户端：主服务器和远程客户端.
cfrun与每个客户端上的 cfservd 进行通信，cfservd 然后运行cfagent.
cfagent连接主服务器，首先检查update.conf是否有新版本，如果有更新，将它传输到客户端.
cfagent 先评估 update.conf 的内容,并获取策略文件（cfagent.conf 和相关文件）的最新版本.
随后评估 cfagent.conf以确定客户端是否处于所需状态。如果有偏差，cfagent 将执行已定义的操作来更正客户端配置.

注意:没有绝对的服务端和客户端，在需要的情况下,客户端也可以作服务器端.

3.3. cfengine 更新触发机制

3.3.1. 服务器集中通知更新方式

服务器上运行cfrun,cfrun会根据cfrun.hosts中的主机列表来连接到某个客户机的cfservd程序
客户机上cfservd调用本机的cfagent程序
客户机上cfagent程序执行update.conf,连接到服务器的cfservd,下载策略文件cafagent.conf
客户机下载成功后执行最新版本的策略文件,不成功就执行旧版本的.

注意：update.conf的内容要简单,一般来说就是下载cfagent.conf策略文件,基本上这个文件创建好了之后就不会更改了.

3.3.2. 客户端自主激活方式

客户机自动执行cfagent程序执行update.conf,连接到服务器的cfservd,下载策略文件cafagent.conf
客户机下载成功后执行最新版本的策略文件,不成功就执行旧版本的.

注意:客户端定期执行cfagent,可以通过添加到crontab 或者 cfexecd定期调用.这样的情况下，客户端就不需要运行cfservd程序.

3.4. cfengine 服务器端设置

安装cfengine软件包,可以使用源码或者rpm包，请参考互联网.

cfengine服务端目录结构

  /var/cfengine/
  |-- backup
  |-- bin
  |-- clientconf#客户端从此目录下载和更新配置文件
  |-- inputs#服务端自身的配置文件
  |-- lib
  |-- modules
  |-- outputs
  |-- ppkeys
  |-- rpc_in
  |-- rpc_out
  |-- share
  `-- state

设置cfservd.conf配置文件,文件内容如下

  #cat /var/cfengine/clientconf/cfservd.conf (为了简化一点,服务端和客户端使用同样的cfservd.conf配置)
  ###############################################################################
  # Who and what we allow access to, and who we trust
  # Master Server conf and Client cfservd conf
  ###############################################################################
  control:
     domain = ( hzidc.com )
     cfrunCommand = ( "/var/cfengine/bin/cfagent" )
     MaxConnections = ( 100 )
     MultipleConnections = ( true )
     IfElapsed = ( 1 )
     DenyBadClocks = ( false )
     AllowConnectionsFrom = ( 172.0.0.0/8 )
     TrustKeysFrom = ( 172.0.0.0/8 )#自动交换key,不需要拷贝key
     LogAllConnections = ( true )
     AllowUsers = ( root admin )
     HostnameKeys = ( off )
     ChecksumDatabase = ( /var/cfengine/cfdb )
  
  grant:
     $(cfrunCommand)172.0.0.0/8#允许ip在172.0.0.0/8范围内的主机,可以cfrun方式远程执行cfagent
     /var/cfengine172.0.0.0/8#允许ip在172.0.0.0/8范围内的主机,通过cfagent访问拷贝此目录下的文件

注意:此cfservd.conf配置文件比较宽松，可以根据需要进行权限的限制

设置update.conf配置文件(cfagent运行时，第一解析的配置文件)

  #cat /var/cfengine/clientconf/update.conf
  ###############################################################################
  # update.conf - ensure that the inputs and binaries in /var/cfengine are
  # synced to those on the server. 
  ###############################################################################
  
  control:
     actionsequence  = ( copy )    # sequence of actions to perform
     domain          = ( hzidc.com )              # our domain
     DefaultCopyType = ( checksum )               # Copy based on checksum, not mtime
     HostnameKeys = ( off )
     cfserver        = ( 172.16.20.100 )    # host running cfservd
     workdir         = ( /var/cfengine )             # the workdir
     clientconf = ( /var/cfengine/clientconf )
     input_mode      = ( 700 )                      # mode for input files
     bin_mode        = ( 755 )                      # mode for binaries
     fowner          = ( root )                     # file owner
     ogroup          = ( root )                    # file group
      
    any::                                         # the class to match
  
     SplayTime       = ( 1 )                     # max number of minutes over
                                                  # which cfengine will share
                                                  # its load on the server
  ############################################################################
  copy:
    $(clientconf)/cfagent.conf   dest=$(workdir)/inputs/cfagent.conf
                                 owner=$(fowner) group=$(ogroup)
                                 mode=700
                                 server=$(cfserver) trustkey=true encrypt=true

注意:要尽可能保持update.conf文件简单，只让它更新必要的cfagent.conf配置文件,其他的具体功能操作都在cfagent.conf文件中定义.

设置cfagent.conf配置文件(cfengine的核心配置文件，所有的功能操作都在此配置文件中定义)

  #cat /var/cfengine/clientconf/cfagent.conf
  ###############################################################################
  # cfagent.conf for client
  ###############################################################################
  # group区块定义群组(classes)，可以在后续的配置中指定特定的组群执行特定的操作，这样就可以将不同类的配置文件都写在同一个cfagent.conf文件中.
  
  groups:
  Redhat_AS3 = ( redhat_as_3 )
  Redhat_AS4 = ( redhat_as_4 )
  Redhat_2u1 = ( redhat_as_2_1 )
  Redhat_7u3 = ( redhat_7_3 )
  Redhat_AS5 = ( redhat_s_5 )
  
  control:
   
   any::
   
      ## Basic Cfengine configurations
      access = ( root )
      editfilesize = ( 0 ) # 0 turns off the editfilesize limit.
      netmask = ( 255.255.255.0 ) # Sets the netmask if you use netconfig.
      timezone = ( CST )
   
      ## How and Where do we output stuff?
      sysadmin = ( admin@admin.com )
      smtpserver = ( smtp.admin.com )
      EmailMaxLines = ( n ) # No maximum lines
      Syslog = ( on )
  
      ## How many cfengines can run, what do we do when the server's busy
      SplayTime = ( 45 ) # Run everything immediately
      MaxCfengines = ( 20 )
  Repository = ( /var/cfengine/backup )
  
      # 如果使用cfexecd定时运行cfagent,它会读取 下面 schedule 中定义时间来运行cfagent
      schedule   = ( Monday.Hr10 Tuesday.Hr10 Wednesday.Hr10 Thursday.Hr10 Friday.Hr10 Monday.Hr15 )  
      
      ## Set some defaults
      DefaultCopyType = ( checksum ) # Copy based on checksum, not mtime
      DeleteNonUserFiles = ( false ) # Do not delete unowned files
      Exclamation = ( on ) # Inform us of problems.
      ExpireAfter = ( 30 ) # Don't let cfengine run longer then 60 minutes.
      HostnameKeys = ( off ) # Store keys based on hostname, not IP
      Inform = ( on ) # Show diagnostic output
      ShowActions = ( off ) # Do not show verbose diagnostic output
      domain = ( hzidc.com ) # Obtain our domain name automatically
  
  # 可以自定义一些变量，方便后面引用,引用方式 $(cfserver)
      cfserver = ( 172.16.20.100 )
      clientconf = ( /var/cfengine/clientconf )
      workdir = ( /var/cfengine )
      etcdir = ( /etc )
      optdir = ( /opt )
  
      bin_mode        = ( 755 )                    # mode for binaries
      fowner          = ( root )                   # file owner
      fgroup          = ( root )                   # file group
      actionsequence = ( copy editfiles shellcommands processes )
   
   ###############################################################################
   ## copy 区块: 从服务器拷贝配置文件,也可以递归拷贝目录
   copy:
   any::
  
       $(clientconf)/cfservd.conf   dest=$(workdir)/inputs/cfservd.conf
                                    owner=$(fowner) group=$(fgroup)
                                    mode=700
                                    server=$(cfserver) trustkey=true 
     
       $(clientconf)/update.conf    dest=$(workdir)/inputs/update.conf
                                    owner=$(fowner) group=$(fgroup)
                                    mode=700 
                                    server=$(cfserver) trustkey=true
    
   # 引用前面自定义个group(classes),属于Redhat_AS4这个组的拷贝以下配置文件
   Redhat_AS4::
      $(clientconf)/sysctl.conf     dest=/etc/sysctl.conf
                                    owner=$(fowner) group=$(fgroup)
                                    mode=777
                                    server=$(cfserver) trustkey=true
  
      $(clientconf)/limits.conf     dest=/etc/security/limits.conf 
                                    owner=$(fowner) group=$(fgroup)
                                    mode=777
                                    server=$(cfserver) trustkey=true
  
   ###############################################################################
   ## editfiles 区块: 此块操作是自动编辑系统配置文件
   editfiles: 
   any::
  
   { /root/.bashrc
      AutoCreate
      DeleteLinesContaining "export PS1"
      AppendIfNoSuchLine "export PS1='\n\e[1;37m[\e[m\e[1;32m\u\e[m\e[1;33m@\e[m\e[1;35m\h\e[m \e[4m`pwd`\e[m\e[1;37m]\e[m\e[1;36m\e[m\n\$'"
   }
   
   ###############################################################################
   ## processes 区块: 定义检查系统进程，如果没有在ps里发现相应进程，cfagent将根据指定的命令启动该进程
   processes:
   any::
  
      # Make sure these processes are always running
      "cfservd" restart "/var/cfengine/bin/cfservd"
  
   ###############################################################################
   ## shellcommands 区块: 定义了需要运行的系统命令，可以是脚本，也可以是命令
   shellcommands:
   any::
  
      # restart apache
      "/etc/init.d/httpd restart"
  
      # execute cmd
  "/bin/echo client no do ser with domain "
  
   ###############################################################################
   ## files区块: 定义了检查系统文件属性，如有不符将自动修正
   files:
   any::
      /etc/passwd
           mode=644        # make sure the file permissions are right
           owner=root      # make sure it's owned by root
           action=fixall   # if anything is wrong, fix it immediately!
           checksum=md5    # keep a "tripwire" checksum to tell us
  
     /etc/ssh/sshd_config        m=644 o=root g=0 act=fixall

设置cfrun.hosts配置文件(在服务端使用cfrun命令"推"配置到客户端，文件定义要"推"的客户端主机名列表,存放于Server端的/var/cfengine/inputs目录)

  #####################################################################
  #list of hosts you're going to manage (remote client must run cfservd)
  #####################################################################
  domain = hzidc.com
  access = root admin
  hostnamekeys = off
  outputdir= /var/cfengine/output
  
  #-------host list----------#
  test_name1
  test_name2
  test_name3
  test_name4
  test_name5
  test_name6
  test_name7
  test_name8
  test_name9
  test_name10

注意:此配置文件中的主机名要能解析(通过/etc/hosts 或者dns),否则运行会找不到客户端ip,服务端需要配置hosts 或者dns.此配置文件只需要在服务端使用.

服务端使用cfkey生成密钥,并且运行cfservd守护进程
```
  /var/cfengine/bin/cfkey
  /var/cfengine/bin/cfservd
```
说明: 服务端生成的密钥保存在/var/cfengine/ppkeys目录下.至此cfengine 服务端已经基本配置完成了,下面我们就要在客户端初始化运行cfengine

3.5. 客户端运行cfengine

客户端首次运行要进行如下工作:

运行 /var/cfengine/bin/cfkey 生成密钥
将 update.conf 配置从服务端拷贝到客户端 /var/cfengine/inputs 目录中
运行 /var/cfengine/bin/cfagent -qv,cfagent根据update.conf的配置到Server端相应目录下载cfservd.conf和cfagent.conf，并根据里面的规则进行各种操作.说明：在运行的过程中,客户端和服务端会自动交换公钥,交换公钥后,都会以root-x.x.x.x.pub(x.x.x.x代表ip地址)形式保存在各自的/var/cfengine/ppkeys目录中.

服务端集中管理客户端经过初始化运行后，服务端可以使用 cfrun 来集中将配置推到客户端.cfrun从服务端向客户端上的cfservd守护进程发请求，远程执行cfagent命令.因此 "推" 的操作要求客户端系统必须运行cfservd守护进程.这样一套基础cfengine自动化系统就基本完成了，可以根据自己的需要进行配置和结构的调整.

4. 总结(Summary)

通过客户机本身的cfexecd 和服务器的cfrun如果是同时执行cfagent会不会出现冲突?答案是不会,cfengine有很好的锁的机制来避免这种情况的发生.通常来说,客户机定时执行cfexecd来单独激活自己的cfagent和服务器执行cfrun集中激活客户机这两种方式在实际中都会使用,只是场合不同:
cfengine本身并没有客户机服务器的严格区分,每一台主机同时可以是服务器,也可以当作客户机.cfengine也是这种概念.当然,一般来讲方便于集中控制,我们会选定一台机作为服务器.
inputs 目录的作用,它是 cfengine 默认的当前有效配置文件所在的目录.cfengine运行所需要的 *.conf 之类的配置文件都是存放在这个目录下
cfengine的所有程序都带有-v参数,用于详细的输出,这对我们排错调试带来了很大方便.而且对于cfagent程序,-n参数是十分有用的.对于一个刚刚建立的策略文件直接执行是十分危险的,-n参数是模拟执行,所以带上它来运行cfagent就给我们带来很大的安全性,特别是调试的时候.所以首先应该使用 cfagent -n -v

当然在真实生产线部署，管理大量的服务器，要对cfengine进行一些改进，才能满足特定的需要.

刷新页面返回顶部

Linux 系统管理之道道,可道,非常道名,可名,非常名

cfengine自动化配置系统原理与实践

1. cfengine 概述

1.1. cfengine 功能概述

1.2. 使用cfengine的益处

1.3. cfengine 组件说明

1.4. cfengine 配置文件

2. 使用Classes(与group相同)标识系统

2.1. 预定义Classes的分类

2.2. 自定义Classes

3. cfengine系统的搭建与使用

3.1. cfengine 配置文件管理方式

3.2. cfengine 运行方式

3.3. cfengine 更新触发机制

3.3.1. 服务器集中通知更新方式

3.3.2. 客户端自主激活方式

3.4. cfengine 服务器端设置

3.5. 客户端运行cfengine

4. 总结(Summary)

About

Linux 系统管理之道 道,可道,非常道 名,可名,非常名

cfengine自动化配置系统原理与实践

1. cfengine 概述

1.1. cfengine 功能概述

1.2. 使用cfengine的益处

1.3. cfengine 组件说明

1.4. cfengine 配置文件

2. 使用Classes(与group相同)标识系统

2.1. 预定义Classes的分类

2.2. 自定义Classes

3. cfengine系统的搭建与使用

3.1. cfengine 配置文件管理方式

3.2. cfengine 运行方式

3.3. cfengine 更新触发机制

3.3.1. 服务器集中通知更新方式

3.3.2. 客户端自主激活方式

3.4. cfengine 服务器端设置

3.5. 客户端运行cfengine

4. 总结(Summary)

About

Linux 系统管理之道道,可道,非常道名,可名,非常名