推荐多线程下载工具axel替代wget

在爬数据的时候很多时候需要下载文件比如压缩文件,音频,视频,图片等等,这些文件通常有一个请求的url,这个时候使用request模块或者urllib模块都很慢,而且很不稳定,这个时候使用wget或者axel等系统工具并结合os模块的system命令就很稳定并且很快

 

在数据抓取的时候很能加快速度

 

sudo apt-get install axel

　　

亲测比wget快非常多:)

 

如果在 Windows平台可以使用迅雷会员下载更快一些,

linux上面有 xware desktop