天晴如许

在网站数据采集和网站分析行业,让数据采集标准化和自动化;由海量日志基于hadoop分析到实时分析;提供Web Analytics工具发挥数据运营威力。

导航

2011年10月17日 #

wget递归下载文件

摘要: wget是个好东西啊,合理利用能实现太多的功能!比如递归获取指定目录下的所有文件,可以这么做:wget -r -nd -np -R "index.html*" http://logforward.hst.ali.dw.alidc.net/th_en_p4p_blender/-c 断点续传,奇怪的是-r递归调用时同时使用该参数会比较慢,估计是没有权限的文件尝试多次的缘故-r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件-nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录-np 递归下载时不搜索上层目录。如wget -c -r www.xxx.org/ 阅读全文

posted @ 2011-10-17 16:56 天晴如许 阅读(1584) 评论(0) 推荐(0) 编辑