如何将一个大的Promise.all拆分为几个较小的部分依次执行

  前段时间在用Promise.all执行一个非常大批量的操作时遇到一个奇怪的问题。

  这个Promise.all需要遍历一个指定目录中的所有文件,并以异步的方式读取文件内容并进行后续操作。由于目录中的文件数目比较多(大约8000+),Promise.all在执行的过程中有许多文件读取失败,但是如果指定一个文件数量比较少的目录则不存在这个问题。查看浏览器的Network会看到一开始的时候这些文件的访问都是pending状态,但是随着数量的增加,一部分pending最后都变成failed了。然后在Console中也会看到有许多的Failed to load resource: net::ERR_INSUFFICIENT_RESOURCES错误。

  然后又在其它不同的浏览器中进行了尝试,发现Chrome内核的浏览器(Chrome和Edge)基本都存在这个问题,但是FireFox工作正常。初步断定有可能是浏览器自身内部机制导致的,所以尝试看看能否将并发的数量减少以规避错误。

  下面是优化之前的代码:

var aPromises = [];
paths.forEach(function(sPath) {
    aPromises.push(readDocument(sPath).then(function(oDocument) {
        // other process
        return oDocument;
    }));
});
return Q.all(aPromises);

  当遇到paths数组很大时,有较大的概率会出现Failed to load resource: net::ERR_INSUFFICIENT_RESOURCES错误。

  下面是优化之后的代码:

 1 var fnPromise = function(docs) {
 2     var aPromises = [];
 3     docs.forEach(function(sPath) {
 4         aPromises.push(readDocument(sPath).then(function(oDocument) {
 5             // other process
 6             return oDocument;
 7         }));
 8     });
 9     return Q.all(aPromises);
10 }
11 
12 var _MAX_COCURRENCY = 50;
13 var aFiles = [];
14 var promise;
15 var index = 0;
16 while (index < paths.length) {
17     if (index + _MAX_COCURRENCY < paths.length) {
18         aFiles.push(paths.slice(index, index + _MAX_COCURRENCY));
19     } else {
20         aFiles.push(paths.slice(index));
21     }
22     index += _MAX_COCURRENCY;
23 }
24 aFiles.forEach(function(aSegFiles){
25     if (!promise) {
26         promise = fnPromise(aSegFiles);
27     } else {
28         promise = promise.then(function(results){
29             return fnPromise(aSegFiles).then(function(aResults){
30                 return results.concat(aResults);
31             });
32         })
33     }
34 });
35 return promise;

  上面的代码中,while循环将一个较大的paths数组拆分成若干个较小的数组并存放到aFiles数组中。aFiles是一个二维数组,它的每一个元素是paths数组的一部分,其大小取决于_MAX_COCURRENCY常量的值。第24行对aFiles数组进行遍历,如果promise没有被初始化,则将函数fnPromise赋值给它。否则,通过第28行将fnPromise函数执行后的then方法重新赋值给变量promise,这一行是将多个Promise串联起来的关键。函数fnPromise只对较小的数组进行Promise.all操作。

  通过上面的代码,可以成功将一个大的Promise.all拆分为若干个较小的Promise并串联起来执行,从而规避上述浏览器中所出现的错误。

posted @ 2022-07-26 18:02  Jaxu  阅读(857)  评论(0编辑  收藏  举报