FTP数据采集脚本

#!/bin/bash
#FTP数据采集脚本
T=`date -d yesterday +%Y%m%d`//获取昨天的日期，格式20220107
#T=`date -d  +%Y%m%d`//获取今天的日期
#T=`date -d '1 day ago ' +%Y%m%d`//获取昨天的日期
#T=`date -d '2 day ago ' +%Y%m%d`//获取前天的日期
#T=`date -d '10 day ago ' +%Y%m%d`//获取10天前的日期

cd /data/tmp //数据下载到tmp目录

ftp -v -n 192.168.153.10 22 <<EOF //-v 显示过程；-n 不自动登录 IP 端口

user root ctsi123456 //user 用户名  密码
binary  //开启二进制
prompt off //关闭交互
cd /opt/hive  //打开FTP服务器里的/opt/hive目录

mget * //下载所有文件
close
bye  //结束推出
EOF

tar -zcvf /data/google/$T.tar.gz * --remove-files  //以日期命名，打包到/data/google/目录，*-表示目录中的所有文件都打包，打包后删除源文件

　以上是采集并打包的脚本。

#!/bin/bash
#FTP数据采集脚本
T=`date -d yesterday +%Y%m%d`//获取昨天的日期，格式20220107
#T=`date -d  +%Y%m%d`//获取今天的日期
#T=`date -d '1 day ago ' +%Y%m%d`//获取昨天的日期
#T=`date -d '2 day ago ' +%Y%m%d`//获取前天的日期
#T=`date -d '10 day ago ' +%Y%m%d`//获取10天前的日期

cd /data/tmp //数据下载到tmp目录

ftp -v -n 192.168.153.10 22 <<EOF //-v 显示过程；-n 不自动登录 IP 端口

user root ctsi123456 //user 用户名  密码
binary  //开启二进制
prompt off //关闭交互
get hivelog_$T.log //get + 要下载的文件名，可以使用变量匹配
close
bye  //结束推出
EOF

　以上是采集指定某一类的文件，不打包