数据下载工作笔记一：wget批量下载网页链接

对于网页上的链接，”–accept”和”–reject”参数是不会起作用的,因为他们只对文件操作起作用，只能用在目录中（例如ftp）。所以一定要用”lynx -dump”参数来代替。
$ lynx -dump ftp://ftp.xxx.com/pub/lg/ |grep gz$ |awk {print $2} > urllist
lynx的输出结果可以被各种GNU文本处理工具过虑。以”gz”结尾的地址放入urllist文件里。

写一个简单的bash脚本来自动下载这个文件里的目标文件:
$ for x in $(cat urllist)
> do
> wget $x
> done

或者 wget -i urllist