利用CURL批量检查链接的状态和文件的MD5值对比

#!/bin/bash
for i in `cat url.txt`
do
HTTP_CODE=`curl -o /dev/null -s -w %{http_code} $i`  #-o 参数，是把下载的所有内容都重定向到/dev/null，-s命令，是屏蔽了curl本身的输出，而-w参数，是根据我们自己的需要，自定义了curl输出格式。
if [[  "$HTTP_CODE" == "404"  ]]
        then
echo -e "$i" >>404url.txt
fi
done

for((i=0;i<1000;i++))
do
curl www.baidu.com -k -s -o /home/${i}.result -D - >/home/${i}.log #下载文件和响应信息
result=`md5sum /home/${i}.result | awk '{print $1}'`
if [ ${result} != "a6c4b5d58389762e8e7f67c8a3515d3f" ]#定义你检查文件的MD5值
then
    echo $result , ${i}
fi
done