爬取网页数据，并通过正则表达式从该数据中匹配出第一个出现的某关键字段，用于自动部署

搞自动部署，需要先从wiki下载fap应用，但是这个fap应用存放在文件夹内，且文件夹名称按应用更新日期命名（即：每次发布新版应用都需要建立一个新的以日期命名的文件夹）。增加了自动下载难度。
之前思路及做法：将下载地址的日期后缀设置为变量，每次更新fap应用，手动给下载地址传参。缺点：需要手动参与，未完全自动化。
当前解决思路：把fap应用所在wiki网页的所有数据下载写入到文件，随后从文件中匹配出第一个fap应用地址（最新的应用在页面最上方），随后下载。

---

1. 将应用所在网页数据下载写入到文件

curl -u 用户名:密码 https://zw-wiki.XXX -o test.html

　　test.html文件中的各个fap应用版本：
　　　　　http://maven.XXX/com/ufgov/fap-boot/8.32-22110402.jar

　　　　　http://maven.XXX/com/ufgov/fap-boot/8.32-221101.jar
　　　　　...

2. 从test.html文件中获取第一个fap应用下载地址

awk -F"[ ]+" '{for(i=1;i<=NF;i++) if($i~"'"${http://maven.XXX/com/ufgov/fap-boot/8.32}"'") print $i}' ${test.html} |awk 'NR==1'|awk -F "[\"\"]" '{print $2}'

　　备注：这个是最核心的操作，需要模糊匹配出第一个出现的fap应用，匹配字段：http://maven.XXX/com/ufgov/fap-boot/8.32

3. 将第二步的代码美化，设置变量

#定义文件变量
filename=/opt/test.html

#定义地址变量
aa=http://maven.XXX/com/ufgov/fap-boot/8.32

#获取fap应用下载地址，传入变量
fap_data=`awk -F"[ ]+" '{for(i=1;i<=NF;i++) if($i~"'"${aa}"'") print $i}' ${filename} |awk 'NR==1'|awk -F "[\"\"]" '{print $2}'`

4. 成品代码展示（片段）

#!/bin/bash
#说明：优化项————可以直接下载平台、门户最新应用包，实现Jenkins部署全自动化。
#author:zhangyl

uname=$1
passwd=$2

#检查下载是否成功
check()
{
if [ $? -eq 0 ];then
    echo "下载完成"
else
    echo "下载失败请检查"
fi
}

#获取wiki网页数据，写入test.html
cd /opt
curl -u ${uname}:${passwd} https://zw-wiki.XXX -o test.html
check

#定义文件变量
filename=/opt/test.html

#定义地址变量
aa=http://maven.XXX/com/ufgov/fap-boot/8.32
bb=http://maven.XXX/com/yonyougov/portal-workflow/8.32

#获取平台、门户应用下载地址，传入变量
fap_data=`awk -F"[ ]+" '{for(i=1;i<=NF;i++) if($i~"'"${aa}"'") print $i}' ${filename} |awk 'NR==1'|awk -F "[\"\"]" '{print $2}'`
portal_data=`awk -F"[ ]+" '{for(i=1;i<=NF;i++) if($i~"'"${bb}"'") print $i}' ${filename} |awk 'NR==1'|awk -F "[\"\"]" '{print $2}'`

#下载FAP应用
wget -c  ${fap_data} -P /opt
check

#下载PORTAL应用
wget -c  ${portal_data} -P /opt
check

5. Jenkins成果展示

　　实现所有测试环境的所有应用，一键自动化执行部署。