cube.js 性能优化

核心是利用了clinicjs 进行分析

流程

• 安装clinicjs

npm install -g clinic

• 修改启动模式修改
  注意处理我们使用渐进的模式进行分析先doctor，然后参考提示进行分析

 

 // 先doctor 模式运行

clinic doctor -- node node_modules/.bin/cubejs-server

// 使用分析之后提示的模式bubbleprof 

clinic bubbleprof -- node node_modules/.bin/cubejs-server

参考提示图

 

 

推荐的一些参数调整

通过clinic工具的运行,以及一些压力测试我们会发现一个潜在的问题，比如io 问题,以下是一经过测试以及实践的一些优化参数

• 使用集群模式（使用nodejs 的cluster模块）
  我们可以基于throng 模块解决问题，参考如下

 

const throng = require('throng')

const WORKERS = process.env.WEB_CONCURRENCY || 5 // 开启5个，可以结合实际调整

throng(WORKERS, start)

function start() {

  const CubejsServer = require('@cubejs-backend/server');

  const cubeconf = require('./cube')

  const server = new CubejsServer(cubeconf);

  server.listen().then(({ version, port }) => {

    console.log(`🚀 Cube.js server (${version}) is listening on ${port}`);

  });

}

• 增加UV_THREADPOOL_SIZE
  默认UV_THREADPOOL_SIZE 为4对于包含了复杂处理的有点太小了，推荐加大，最大值为128-1024
  参考配置（基于环境变量配置）官方也有相关参数说明

 

process.env.UV_THREADPOOL_SIZE=64 // 推荐放到js 的最上边

libuv 参考图

 

 

• 增加调度队列大小
  默认官方的参考为2，但是官方的说明是推荐不要修改，但是对于请求比较大的场景，修改还是很有用的

 

const queueOptions = {

    concurrency:100,

};

module.exports = {

    orchestratorOptions: {

        queryCacheOptions: {

            queueOptions,

        }

    },

};

说明

以上是一个对于cube.js优化的实践，实际上类似的nodejs 应用都可以使用上，经过以上的调整之后cube.js 的吞吐量提升是很明显的

参考资料

https://github.com/clinicjs/node-clinic
https://clinicjs.org/documentation/
http://docs.libuv.org/en/v1.x/threadpool.html
https://nodejs.org/api/cli.html#cli_uv_threadpool_size_size
https://solidstudio.io/blog/how-nodejs-handles-io
https://dev.to/johnjardincodes/increase-node-js-performance-with-libuv-thread-pool-5h10
https://github.com/nodejs/node/issues/22468