node相关
单线程的node是如何充分利用计算机CPU资源的?
1. 背景
Node.js在官网上是这样定义的: “ 一个搭建在Chrome JavaScript运行时上的平台,用于构建高速、可伸缩的网络程序。Node.js采用的事件驱动、非阻塞I/O模型使它既轻量又高效,是构建运行在分布式设备上的数据密集型实时程序的完美选择。”
用Node.js处理I/O密集型任务相当简单,只需要调用它准备好的异步非阻塞函数就行了。然而数据密集型实时(data-intensive real-time)应用程序并不是只有I/O密集型任务,当碰到CPU密集型任务时,比如要对数据加解密(node.bcrypt.js),数据压缩和解压(node-tar),或者要根据用户的身份对图片做些个性化处理,这时候该怎么办呢?
Node.js是单线程程序,它只有一个event loop,也只占用一个CPU/内核。现在大部分服务器都是多CPU或多核的,当Node.js程序的event loop被CPU密集型的任务占用,导致有其它任务被阻塞时,却还有CPU/内核处于闲置的状态,造成资源的浪费。
2. cluster 集群
为了充分利用cpu资源,通过类似nginx的master-worker多进程负载处理方式进一步压缩硬件性能,提升nodejs单机服务处理性能。所幸,Node提供了child_process模块,并且也提供了child_process.fork()函数供我们实现进程的复制。
考虑Node单机集群健壮性,平滑重启,性能等因素,NodeV0.8直接引入了cluster模块来处理,用以解决多核CPU的利用率问题,同时也提供了较完善的API,用以处理进程的健壮性问题。
2.1 cluster工作原理
事实上cluster模块就是child_process和net模块的组合应用。Cluster启动时,Cluter内部隐式创建TCP服务器,在cluster.fork()子进程时,将这个TCP服务器端socket的文件描述符发送给工作进程。如果工作进程中存在listen()侦听网络端口的调用,它将拿到该文件描述符,通过SO_REUSEADDR端口重用,从而实现多个子进程共享端口。
2.2 cluster事件
对于健壮性处理,cluster模块也暴露了相当多的事件。
Fork: 复制一个工作进程后触发该事件
Online: 复制完一个工作进程后,主进程收到消息后触发该事件
Listening:工作 进程调用listen(),主进程收到消息后触发该事件
Disconnect:IPC通道断开后触发该事件
Exit: 有工作进程退出时触发该事件
Setup: cluster.setupMaster()执行后触发该事件
3. 源码示例
3.1 源码
Worker.js 用于创建单个服务,并且计算斐波那契数列。
let http = require('http');
// let port = Math.round((1 + Math.random())*1000);
let port = 8882;
console.log(`Server running at http://localhost:${port}/`);
http.createServer((req, res) => {
let n = fibonacci(42);
res.end(n + '');
}).listen(port);
function fibonacci(n) {
if (n === 0 || n === 1)
return n;
else
return fibonacci(n - 1) + fibonacci(n - 2);
}
Cluster.js 主进程,根据cpu数量复制多个进程。
let cluster = require('cluster');
cluster.setupMaster({
exec: "worker.js"
});
let cpus = require('os').cpus();
for (var i = 0; i < cpus.length; i++) {
cluster.fork();
}
3.2 运行
开启服务:
Node cluter.js
查询接口:
curl http://localhost:8882
查看资源: 任务管理器运行8个Node进程,(还有一个node进程是其他项目的)
4. 多核集群与单核性能对比
4.1 运行单核及多核集群
只是把worker.js 中端口号改成8881, 不妨定义成single.js
let http = require('http');
// let port = Math.round((1 + Math.random())*1000);
let port = 8881;
console.log(`Server running at http://localhost:${port}/`);
http.createServer((req, res) => {
let n = fibonacci(42);
res.end(n + '');
}).listen(port);
function fibonacci(n) {
if (n === 0 || n === 1)
return n;
else
return fibonacci(n - 1) + fibonacci(n - 2);
}
运行: node single.js
多核集群运行参考3.2
4.2 使用ab做性能测试
单个请求计算时间较长,我们测试20个请求, 并发量10
ab -n 20 -c 10 http://localhost:8881
ab -n 20 -c 10 http://localhost:8882
4.3 测试结果
结论:
8个线程的,cpu都利用起来了99%, 耗时24秒; 1个线程,CPU只用37%,耗时67秒。单机多核集群性能有着明显的提高。
https://blog.csdn.net/qq_42415326/article/details/124564825
1、Nodejs 与操作系统交互,我们在 JavaScript 中调用的方法,最终都会通过 process.binding 传递到 C/C++ 层面,最终由他们来执行真正的操作。Node.js 即这样与操作系统进行互动。
2、Nodejs 所谓的单线程,只是主线程是单线程,所有的网络请求或者异步任务都交给了内部的线程池去实现,本身只负责不断的往返调度,由事件循环不断驱动事件执行。
3、Nodejs 之所以单线程可以处理高并发的原因,得益于 libuv 层的事件循环机制,和底层线程池实现。
4、Event loop 就是主线程从主线程的事件队列里面不停循环的读取事件,驱动了所有的异步回调函数的执行,Event loop 总共 7 个阶段,每个阶段都有一个任务队列,当所有阶段被顺序执行一次后,event loop 完成了一个 tick。
并发