gitlab自带的备份功能做不到实时备份,为了尽可能减少意外情况导致的丢失数据,自己搞了一个实时备份的功能。

备份的大头主要是两部分,数据库和代码库。数据库由DBA配置主备。

仓库经过测试,通过lsyncd同步repo仓库是可行的。lsyncd封装了inotify & rsync,会比使用inotify好用许多。

 

lsyncd的使用:

安装 yum install -y lsyncd

使用 lsyncd -log Execxxx.conf

xxx.conf 配置文件:

settings {
    logfile      ="/var/log/lsyncd/lsyncd.log",
    statusFile   ="/var/log/lsyncd/lsyncd.status",
    inotifyMode  = "CloseWrite",  #inotify监控的时间
    maxProcesses = 10,  #同时最大起的rsync进程数,一个rsync同步一个文件
    }
 
sync {
    default.rsync,
    source    = "$GITLAB_REPO_PATH", #源目录,路径使用绝对路径
    target    = "$USER@$BACKUP_IP_ADDRESS:$GITLAB_REPO_PATH", #目标目录
    maxDelays = 50,  #统计到多少次监控事件即开始一次同步
    delay = 60,           #若60s内未出发50次监控事件,则每60s同步一次
   delete = true,  #rsync 是否启用--delete
    rsync     = {
        binary ="/usr/bin/rsync",  #rsync可执行文件
        archive = true,  #保持文件所有属性
        compress = true,  #压缩传输,是否开启取决于带宽及cpu
        bwlimit   =5000  #限速 kb/s
        -- rsh ="/usr/bin/ssh -p 22 -o StrictHostKeyChecking=no" #可指定端口
        }
    }



由于仓库文件数量通常较多,往往需要修改inotify的监控数量上限

/etc/sysct.conf: fs.inotify.max_user_watches=xxxxx


打通源机器到备份机器的ssh端口,然后启动lsyncd

 

数据库备库设置为只读,这样备机其实可以一直开着,在主机发生问题时,通过dns/lvs直接切换。


lsyncd配置部分参考文章:https://segmentfault.com/a/1190000002737213

 

 posted on 2017-03-28 21:45  TerrellChen  阅读(3586)  评论(0编辑  收藏  举报