命令行的“迅雷”,提升百倍以上下载速率
现在从国外一些服务器下载数据实在是太慢了,虽然可是使用 aspera 等工具下载 ncbi 的数据,但是并不是所有站点都支持 aspera。无奈只能使用 curl 或者 wget 下载。尽管我使用的是 100M 的企业网,有些数据还是慢。这时候就可以使用 axel 工具了。axel 是 Linux 下一个高速下载工具。支持多来源、多线程、断点续传。也就是可以从多个地址或者从一个地址的多个连接来下载同一个文件,类似迅雷,总之就是下载速度比 wget 快,而且快很多。
软件安装
由于我使用 CentOS 系统,可以使用 yum 命令直接安装,ubuntu 使用 apt 工具应该类似。
yum install -y axel
软件使用
软件的使用非常用以,和 wget 类似,后面直接接下载文件路径即可。这里面有两个选项参数比较重要,第一个最重要的就是 --num-connections,-n,指定最大连接来源的数目,这也是我们使用 axel 的目的吗,连接数越多,下载速度越快,理论上来说,应该是原来的 1/n,另外一个是 -q,不弹出屏幕输出信息。
# 软件选项参数:
--max-speed=x -s x 最高速度 x
--num-connections=x -n x 连接数 x
--output=f -o f 下载为本地文件 f
--search[=x] -S [x] 搜索镜像
--header=x -H x 添加头文件字符串 x(指定 HTTP header)
--user-agent=x -U x 设置用户代理(指定 HTTP user agent)
--no-proxy -N 不使用代理服务器
--quiet -q 静默模式
--verbose -v 更多状态信息
--alternate -a Alternate progress indicator
--help -h 帮助
--version -V 版本信息
举个例子
ftp://ftp.ncbi.nlm.nih.gov/blast/db/FASTA/swissprot.gz
首先使用 wget 进行下载,网速大概在 20Kb/s。
wget ftp://ftp.ncbi.nlm.nih.gov/blast/db/FASTA/swissprot.gz
然后我们使用 axel 进行下载,-n 设置为 50,平均下载数据在 3M/s,提升还是非常明显的,尤其是一些比较难下载的资源。
axel -n 50 ftp://ftp.ncbi.nlm.nih.gov/blast/db/FASTA/swissprot.gz
——The End——
![edc7a52c-9592-42c6-b899-151dcd5c9de9.gif](https://oscimg.oschina.net/oscnet/edc7a52c-9592-42c6-b899-151dcd5c9de9.gif)
本文分享自微信公众号 - 生信科技爱好者(bioitee)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。