jenkins+ rclone定时同步sftp数据到s3

一个简单任务场景，业务对账，同时需要备份请求的对账文件（sftp服务），所以使用了一个强大的支持 
多种存储的工具rclone，然后定时自动同步到s3存储中，对于定时任务，使用jenkins（基于定时任务cron） 
使用jenkins的好处是灵活可以随意配置，同时我们系统已经有了好多构建节点，具有冗余性

参考图

 

 

操作流程说明

因为rclone的配置是可以复用的，所以配置好一个同时copy jenkins 的agent 就行了，具体创建的jenkins job 就是一个执行rclone shell 命令 
的自由job了，对于定时任务，我们可以使用jenkins 自带的定时触发机制，随意调整任务的构建了

说明

rclone 对于同步包含了copy 以及sync 命令，如果是打算源以及目的是一样的，直接使用sync就可以，对于目的可能会变，但是不像被删除的话 
可以使用copy

参考资料

https://github.com/rclone/rclone 
https://rclone.org/