重构后的程序：通过rsync命令抓取日志文件

push.sh

#!/bin/bash

function push()
{
        local ip=$1
        local user=$2
        local password=$3

        local path=$4
        local localPath=$5
        local error=$6

        :>$error
        export RSYNC_PASSWORD="$password"
        rsync -Cavz $user@$ip::$path $localPath > $error 2>&1

        # 判断是否发送错误
        grep "rsync error" $error > $error"_copy"
        cp $error"_copy" $error
        rm -f $error"_copy"
}


# serverInfo=([1]="172.18.11.200" [2]="log" [3]="abcabc")
# fileInfo=([1]="logs/syslog/project_log.20131226.16" [2]="./lishujun.log" [3]="aaa")
# push ${serverInfo[*]} ${fileInfo[*]}

catch.sh

#!/bin/sh

. push.sh

# 错误处理:尝试查找备份文件
function onError()
{
        local errFile="err"
        local serverInfo=($1 $2 $3) # ip username password
        local logInfo=($4 $5)       # srcPath destPath

        local srcPath=${logInfo[0]}
        logInfo[0]="disk1/"${srcPath##*/}".gz" #备份文件路径
        logInfo[1]=${logInfo[1]}".gz"


        push ${serverInfo[*]} ${logInfo[*]} $errFile

        if [ -s $errFile ]; then
                echo "the file ${logInfo[0]} was not found"
        fi
}

# 抓取指定日期指定时间的日志文件
function catchLogByHour()
{
        local errFile="err"
        local serverInfo=($1 $2 $3) # serverInfo=(ip username password)
        local logInfo=($4 $5)       # logInfo=(srcPath destPath)
        local endHour=$6

        local i=0
        while [ $i -le $endHour ];
        do
                hour=$i
                if [ $hour -lt 10 ]; then
                        hour="0"$hour 
                fi

　　　　　　　　　　local hourLogInfo # 声明为局部变量
                hourLogInfo[0]=${logInfo[0]}"."$hour
                hourLogInfo[1]=${logInfo[1]}"."$hour
                push ${serverInfo[*]} ${hourLogInfo[*]} $errFile

                if [ -s $errFile ]; then
                        onError ${serverInfo[*]} ${hourLogInfo[*]}
                fi

                i=`expr $[$i+1]`
        done
}

# for test
# logDate="20061220"
# serverInfo=([1]="172.18.11.200" [2]="log" [3]="abcabc")
# logInfo=([1]="logs/syslog/project_log."$logDate [2]="./data/project_log."$logDate [3]="11")
# catchLogByHour  ${serverInfo[*]} ${logInfo[*]}

main.sh

#! /bin/sh

cd `dirname $0`

. catch.sh

if [ $# -eq 0 ]; then
        # 取昨天数据
        logDate=`date -d"1 day ago" +'%Y%m%d'`
        hour=23
else
        # 取指定日期时间

        today=`date +'%Y%m%d'`
        logDate=$1
        if [ "$1" == "$today" ]; then
                # 取当天数据已产生的数据
                hour=`date -d "1 hour ago" +"%H"`
        else
                # 取历史数据
                hour=23
        fi
fi

serverInfo=([1]="172.18.11.200" [2]="log" [3]="abcabc")
logInfo=([1]="logs/syslog/project_log."$logDate [2]="./data/project_log."$logDate [3]=$hour)
catchLogByHour  ${serverInfo[*]} ${logInfo[*]}

 

因为坚持了模块化的设计，所以理论上我可以在不惊动catch.sh, main.sh 给push.sh 增加失败重试的功能：

 

#!/bin/bash

MAX_RE_CONNECT=2
SLEEP_TIME=2

# 实际推送动作
function pushAction()
{
        local ip=$1
        local user=$2
        local password=$3

        local path=$4
        local localPath=$5
        local error=$6

        :>$error # 清空文件相当于rm,touch命令
        export RSYNC_PASSWORD="$password"
        rsync -Cavz $user@$ip::$path $localPath > $error 2>&1

        # 判断是否发送错误
        grep "rsync error" $error > $error"_copy"
        cp $error"_copy" $error
        rm -f $error"_copy"
}

# 失败重新尝试，一旦超过最大尝试次数认为无法完成
function push()
{

        local serverInfo=($1 $2 $3) # ip username password
        local logInfo=($4 $5)       # srcPath destPath
        local error=$6

        local i=0
        while [ $i -lt $MAX_RE_CONNECT ]
        do
                pushAction ${serverInfo[*]} ${logInfo[*]} $error

                # no error
                if [ ! -s $error ]; then
                        break
                fi

                echo "try again..."
                sleep $SLEEP_TIME
                i=`expr $[$i+1]`
        done
}

# for test
# serverInfo=([1]="172.18.11.201" [2]="log" [3]="wappplog")
# fileInfo=([1]="logs/syslog/project_log.20131229.16" [2]="./lishujun.log" [3]="aaa")
# push ${serverInfo[*]} ${fileInfo[*]}
wappp@ppcn-11-212:/work/stat/read/catchlo

刚才想了一下，我觉得我近两年来虽然编码能力大增，但是写出的代码质量还是需要改善，为什么呢？当然坚持我是对的时候，多半我的设计是没有问题的，但是我在实现设计的时候会出问题，例如我会把a == b.c 写成a==b 在动态语言下这样都不会报错，所以bug混进来了，其实只要发现很好解决，但问题我自己一般都不会发现，需要测试人员或者其他人发现我去检查，发现，哦，原来是这样的啊，然后解决掉

 

我刚才想了一下，代码想要写的质量好还是应该做到这么几点，通过我这个例子：

1， 态度， 要有一个写高质量代码的心

2， 切割，合适的把代码进行切割，让每一个部分适于测试

3， 在脑子里进行单元测试，把每一种情况都执行一下

例如我的mian.sh的测试用例

1 不输入参数 - 是否在指定目录抓取到昨天的日志

2 输入前天的日期  - 是否抓到非压缩的文件

3 输入历史日期 - 是否抓到压缩的文件

4 输入当前日期 - 是否抓到今天前一个小时的所有非压缩文件

5 输出过于久远的日期以至于肯定抓不到如何文件 - 是否提示文件was not found

因为鄙人的天资所限，我实在不能把这个测试从main.sh一直跟到catch.sh和push.sh。我只能单个模块进行模拟测试，在每个模块里验证每个模块的功能，