计划任务统一集中管理系统cronsun(替代crontab)

一、背景

crontab 是 Linux 系统里面最简单易用的定时任务管理工具，相信绝大多数开发和运维都用到过,很多业务系统的定时任务都是通过 crontab 来定义的，时间长了后会发现存在很多问题：

• 大量的 crontab 任务散布在各台服务器，带来了很高的维护成本
• 任务没有按时执行，甚至失败了很久才发现，需要重试或排查
• crontab 分散在很多集群上，需要一台一台去看日志分析，头都大了
• crontab 存在单点问题，对于不能重复执行的定时任务很伤脑筋
• 我 X，crontab 被误删了，没备份？
• 我 Q，服务器要迁移，crontab 上的历史任务都是什么鬼？问了一圈居然都不知道
• …

因此，我们非常需要一个集中管理定时任务系统，相信这也是的饱受 crontab 煎熬的运维或开发的心声。

二、安装

安装包： 

cronsun

wget https://github.com/shunfei/cronsun/releases/download/v0.3.5/cronsun-v0.3.5-linux-amd64.zip (unzip解压)

mongodb

wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.2.tgz （tar -xzvf 解压）

etcd

wget https://github.com/etcd-io/etcd/releases/download/v3.4.13/etcd-v3.4.13-linux-amd64.tar.gz （tar -xzvf 解压）

三、启动

1.mongodb

cd /opt/mongodb-v4.0.2
 
mkdir -p data/db
 
mkdir logs
 
touch mongodb.conf
 
vim mongodb.com
 
   dbpath=/opt/mongodb-v4.0.2/data/db
 
   logpath=/opt/mongodb-v4.0.2/logs/mongo.log  
 
   bind_ip=0.0.0.0  #默认是127.0.0.1， 多节点需要允许其他的ip连接， 所有配置为0.0.0.0，允许其他ip连接
 
   logappend=true
 
   fork=true
 
   port=27017
 
nohup  bin/mongod -f mongodb.conf  > /dev/null 2>&1 &

2.etcd

$nohup ./etcd --advertise-client-urls=http://0.0.0.0:2379 --listen-client-urls=http://0.0.0.0:2379 --data-dir=/opt/etcd-v3.4.13/data   >/dev/null 2>&1 &

注意：默认监听地址是127.0.0.1，允许远程连接需要改为0.0.0.0

3.cronsun

cd /opt/ cronsun-v0.3.5
 
nohup ./cronweb -conf conf/base.json > /dev/null 2>&1 &
 
nohup ./cronnode -conf conf/base.json > /dev/null 2>&1 &

四、添加节点

scp -r root@192.168.0.119:/opt/cronsun-v0.3.5 /opt
 
vim /opt/cronsun-v0.3.5/conf/db.json
    "Hosts": [
    "192.168.0.119:27017"  # 这里改为mongodb监听的ip和端口
  ],
 
vim /opt//cronsun-v0.3.5/conf/etcd.json
     "Endpoints":[
        "http://192.168.0.119:2379" # 这里改为etcd监听的ip和端口
    ],
 
nohup ./cronnode -conf conf/base.json > /dev/null 2>&1 &

五、测试

打开 http://ip:7079 刷新页面 ， 会发现增加节点了

测试两台机子都会执行任务

六：任务监控

发现配置好mail.json

{
    "Enable": true,
    "To": ["***@qq.com"],
    "HttpAPI": "http://xxx.xxx.xxx.xx:xxxx/cronsun(这行改成自己写的接口，失败会自动调用，数据格式是raw的json格式)",
    "#Keepalive": "如果此时间段内没有邮件发送，则关闭 SMTP 连接，单位/秒",
    "Keepalive": 60,
    "#doc": "https://godoc.org/github.com/go-gomail/gomail#Dialer",
    "Host": "smtp.163.com",
    "Port": 25,
    "Username": "***@163.com",
    "Password": "***",
    "SSL": false,
    "#LocalName": "LocalName is the hostname sent to the SMTP server with the HELO command. By default, 'localhost' is sent.",
    "LocalName": ""
}