文件同步监控工具
文件监控同步工具
引言
最近开发中遇到了一个问题,多个人使用同一个测试机,又是同一时间开发
,这样就不能用git去更新代码了,你要更新了代码别人的功能就被你覆盖了,
而一个取而代之的方法是通过rz
同步代码文件,但这效率太低了,而且有可
能复制错。
刚好之前做过fe开发,使用过百度的fisp,他的一个很重要的功能就是代码发
布,于是沿着这个思路做出了这个工具。
如何监控文件
这里面最大的问题就是解决如何监控文件了,成百上千的文件、文件夹如何高效的监控,
我首先想到的还是php有没有这样的扩展,果不其然,找到了一个扩展类库inotify
,
他有inotify_*()
5个函数,但是功能太弱了让我大失所望,不能递归监控文
件夹,只能放弃使用php实现这个功能了。
沿着最开始的路线inotify
继续探索,找到了linux下面的命令inotify-tools
,这个工具的功能就比较强大了,可以递归的监测文件夹及其子文件夹下面的文件
,于是就用shell实现了一个文件监控同步工具,预知具体细节,请继续往下看,
问题一个个的解决
如何将文件保存到服务器
这个借鉴了fisp
的设计,在服务器上边放一个接受文件的脚本,通过http的方式
将文件和要保存的地方发送给脚本,脚本进行保存,然后返回结果。
这个方法的优点很明显:在互联网公司,web服务一般都是有部署的,直接将脚本放上去
配置好目录权限,就可以用了,简单方便。
下面是服务端脚本的php代码
<?php
@error_reporting(E_ALL & ~E_NOTICE & ~E_WARNING);
function mkdirs($path, $mod = 0777) {
if (is_dir($path)) {
return chmod($path, $mod);
} else {
$old = umask(0);
if(mkdir($path, $mod, true) && is_dir($path)){
umask($old);
return true;
} else {
umask($old);
}
}
return false;
}
if($_POST['to']){
$to = urldecode($_POST['to']);
if(is_dir($to) || $_FILES["file"]["error"] > 0){
header("Status: 500 Internal Server Error");
} else {
if(file_exists($to)){
unlink($to);
} else {
$dir = dirname($to);
if(!file_exists($dir)){
mkdirs($dir);
}
}
echo move_uploaded_file($_FILES["file"]["tmp_name"], $to) ? 0 : 1;
}
} else {
echo 'I\'m ready for that, you know.';
}
实现
监控也有了,上传文件也有了,接下来就是具体的实现了:
- 首先就是解析运行脚本时候的参数,看看是否全量发布,是否监控,以及指定的服务器。
- 发布,发布这里原理很简单,但实际实现的时候很麻烦,从监控的文件夹中最长匹配路径,
搜索、拼接路径,然后通过curl发布。 - 监控,监控用了管道命令,让inotify-tools一直等待,有修改就传递给管道后面的程序,
管道后面的程序进行发布。
例子
在使用之前一定要确保安装了inotify-tools
,监控依赖于这个软件中inotifywait
功能,
一般可以直接使用yum install inotify-tools
安装该软件
我使用的一个小例子,首先必须能存在的是配置文件,config.sh
declare -A paths uploads
paths[actions]=/usr/local/nginx/html/actions/
paths[controllers]=/usr/local/nginx/html/controllers/
uploads[test1]="http://10.211.55.3/receiver.php"
uploads[test2]="http://10.211.55.3/receiver.php"
paths数组的键值定义了监控的文件夹名称,uploads定义了发布的服务器名称和地址
使用示例
命令 -d | --dest-server
是指定服务器名称,后边的发布就会发布到该服务器,-a | --all
会将所有的文件发布一边,-w | --watch
会监控所有的文件,有改动进行发布,-h | --help
是查看帮助
github地址
watch-callback-file
欢迎一起改进优化