node-批量上传文件
很多项目可能都会涉及到的业务是关于多文件上传的,那么需要使用到redis或者第三方库(使用redis)来实现任务队列,甚至需要控制并发量和分包(一次请求传多个文件),这样每次都会以实现功能来完成,但是不好维护,甚至很麻烦,大家可以了解一下这个包github地址
详解
目前该包自主已经支持调用者实现上传逻辑和回调,使用者只需要设置相关的参数(远程ip地址,检查接口,上传接口, 错误最大重试次数,图片上传分包大小, 检查已上传的文件分包大小,上传并发数, 是否检查校验文件),添加文件到任务队列后,就可以开始上传,内部逻辑暂时不支持使用者提供,包括任务回调。
上传逻辑
支持调用者实现:按照设置的包大小发起http请求,并执行回调,如果出错,返回(-1,this, error)参考./test中的demo
任务回调逻辑
内部:接收回调参数,如果出错,记录错误次数,并且将本次任务重新添加到任务队列队尾。如果超过最大重试次数,则结束所有任务(因使bagpipe库的原因,无法立即结束所有任务,正常情况下bagpipe会再执行一轮,因为任务被bagpipe给托管了,拿到本次任务回调的时候,其实bagpipe会直接开始下一轮的任务,有更好的优化和建议可以联系我或者评论,谢谢)
调用者: 内部回调后执行调用者传递的回调,返回的参数为err(库error), error(http error)
如果正确上传,则成功数量自增单个包文件数,全部完成则将工作状态改为false,且保持当前进度
状态维护
该包内部维护了一个任务状态,(需要注意的是该包为单实例模型,全局只有一个实例,目前是为了实现实例全局化,后期可能会支持多实例),详细请参加readme.md
依赖
"dependencies": {
"express": "^4.17.1", -- test
"mkdirp": "^0.5.1", -- test
"multer": "^1.4.2", -- test
"bagpipe": "*", -- 需要修改源码,详见readme.md
"request": "^2.88.0",
"request-promise": "^4.2.4"
}
README.MD
介绍
脱离redis, 基于内存, 批量上传文件到远程服务器,按照设置大小设置每次请求的包的大小和并发数量限制
版本历史
8ab6b2e: 这是版本V 0.2.0 该本版支持调用者实现上传逻辑和接收回调
API
初始化任务队列
Upload.init({
base_url: 'http://127.0.0.1:3008/', // 远程目标服务器地址
check_path: 'check_file', // 文件校验接口
upload_path: 'file', // 上传接口
});
添加任务
var file_arr = [ 'D:/files/a.test', 'D:/files/b.test' ];
Upload.createJob(file_arr);
执行任务
Upload.process(upload, callback); //about upload and callback detail please Reference ./test demo
查询当前任务状态
const status = await Upload.status();
console.log(status);
TIPS
支持上传的文件可以在./lib/file_ext.json 中添加或修改
[
{
"ext": ".png",
"contentType": "image/png"
},
{
"ext": ".jpeg",
"contentType": "image/jpeg"
},
{
"ext": "jpg",
"contentType": "image/jpeg"
},
{
"ext": ".txt",
"contentType": "text/plain"
}
]
第三方库:bagpipe 需要修改源码./lib/bagpipe.js 148行为:method.apply(this, args);