node相关

单线程的node是如何充分利用计算机CPU资源的?

1. 背景
Node.js在官网上是这样定义的: “ 一个搭建在Chrome JavaScript运行时上的平台,用于构建高速、可伸缩的网络程序。Node.js采用的事件驱动、非阻塞I/O模型使它既轻量又高效,是构建运行在分布式设备上的数据密集型实时程序的完美选择。”

用Node.js处理I/O密集型任务相当简单,只需要调用它准备好的异步非阻塞函数就行了。然而数据密集型实时(data-intensive real-time)应用程序并不是只有I/O密集型任务,当碰到CPU密集型任务时,比如要对数据加解密(node.bcrypt.js),数据压缩和解压(node-tar),或者要根据用户的身份对图片做些个性化处理,这时候该怎么办呢?

Node.js是单线程程序,它只有一个event loop,也只占用一个CPU/内核。现在大部分服务器都是多CPU或多核的,当Node.js程序的event loop被CPU密集型的任务占用,导致有其它任务被阻塞时,却还有CPU/内核处于闲置的状态,造成资源的浪费。

2. cluster 集群
为了充分利用cpu资源,通过类似nginx的master-worker多进程负载处理方式进一步压缩硬件性能,提升nodejs单机服务处理性能。所幸,Node提供了child_process模块,并且也提供了child_process.fork()函数供我们实现进程的复制。

 

 


考虑Node单机集群健壮性,平滑重启,性能等因素,NodeV0.8直接引入了cluster模块来处理,用以解决多核CPU的利用率问题,同时也提供了较完善的API,用以处理进程的健壮性问题。

2.1 cluster工作原理
事实上cluster模块就是child_process和net模块的组合应用。Cluster启动时,Cluter内部隐式创建TCP服务器,在cluster.fork()子进程时,将这个TCP服务器端socket的文件描述符发送给工作进程。如果工作进程中存在listen()侦听网络端口的调用,它将拿到该文件描述符,通过SO_REUSEADDR端口重用,从而实现多个子进程共享端口。

2.2 cluster事件
对于健壮性处理,cluster模块也暴露了相当多的事件。

Fork: 复制一个工作进程后触发该事件
Online: 复制完一个工作进程后,主进程收到消息后触发该事件
Listening:工作 进程调用listen(),主进程收到消息后触发该事件
Disconnect:IPC通道断开后触发该事件
Exit: 有工作进程退出时触发该事件
Setup: cluster.setupMaster()执行后触发该事件
3. 源码示例
3.1 源码
Worker.js 用于创建单个服务,并且计算斐波那契数列。

let http = require('http');

// let port = Math.round((1 + Math.random())*1000);
let port = 8882;
console.log(`Server running at http://localhost:${port}/`);
http.createServer((req, res) => {
let n = fibonacci(42);
res.end(n + '');
}).listen(port);

function fibonacci(n) {
if (n === 0 || n === 1)
return n;
else
return fibonacci(n - 1) + fibonacci(n - 2);
}

Cluster.js 主进程,根据cpu数量复制多个进程。

let cluster = require('cluster');

cluster.setupMaster({
exec: "worker.js"
});

let cpus = require('os').cpus();
for (var i = 0; i < cpus.length; i++) {
cluster.fork();
}

3.2 运行
开启服务:
Node cluter.js

查询接口:
curl http://localhost:8882

查看资源: 任务管理器运行8个Node进程,(还有一个node进程是其他项目的)

4. 多核集群与单核性能对比
4.1 运行单核及多核集群
只是把worker.js 中端口号改成8881, 不妨定义成single.js

let http = require('http');

// let port = Math.round((1 + Math.random())*1000);
let port = 8881;
console.log(`Server running at http://localhost:${port}/`);
http.createServer((req, res) => {
let n = fibonacci(42);
res.end(n + '');
}).listen(port);

function fibonacci(n) {
if (n === 0 || n === 1)
return n;
else
return fibonacci(n - 1) + fibonacci(n - 2);
}


运行: node single.js
多核集群运行参考3.2

4.2 使用ab做性能测试
单个请求计算时间较长,我们测试20个请求, 并发量10

ab -n 20 -c 10 http://localhost:8881
ab -n 20 -c 10 http://localhost:8882

4.3 测试结果

 

 

 

 

结论:
8个线程的,cpu都利用起来了99%, 耗时24秒; 1个线程,CPU只用37%,耗时67秒。单机多核集群性能有着明显的提高。

 

https://blog.csdn.net/qq_42415326/article/details/124564825

1、Nodejs 与操作系统交互,我们在 JavaScript 中调用的方法,最终都会通过 process.binding 传递到 C/C++ 层面,最终由他们来执行真正的操作。Node.js 即这样与操作系统进行互动。

2、Nodejs 所谓的单线程,只是主线程是单线程,所有的网络请求或者异步任务都交给了内部的线程池去实现,本身只负责不断的往返调度,由事件循环不断驱动事件执行。

3、Nodejs 之所以单线程可以处理高并发的原因,得益于 libuv 层的事件循环机制,和底层线程池实现。

4、Event loop 就是主线程从主线程的事件队列里面不停循环的读取事件,驱动了所有的异步回调函数的执行,Event loop 总共 7 个阶段,每个阶段都有一个任务队列,当所有阶段被顺序执行一次后,event loop 完成了一个 tick。

并发

https://juejin.cn/post/6942037239064952869

posted @ 2023-05-10 09:00  前端菜园子  阅读(19)  评论(0编辑  收藏  举报