Buffer学习笔记.

前言

JavaScript 对于字符串的操作十分便捷，无论是单字节字符还是宽字节字符，都会认为是一个字符。对字符串的简单操作和DOM操作基本上已经可以满足前端工程需求，但Node很多时候需要处理文件和网络I/O，就需要处理大量的二进制数据。所以，在Node中就定义了一个Buffer类，该类用来创建一个专门存放二进制数据的缓存区。本文是《深入浅出nodejs》相关内容的一个总结，是一篇读书笔记，仅供以后查阅。

在 Node.js 中，Buffer 类是随 Node 内核一起发布的核心库。Buffer 库为 Node.js 带来了一种存储原始数据的方法，可以让 Node.js 处理二进制数据，每当需要在 Node.js 中处理I/O操作中移动的数据时，就有可能使用 Buffer 库。原始数据存储在 Buffer 类的实例中。一个 Buffer 类似于一个整数数组，但它对应于 V8 堆内存之外的一块原始内存。

1.Buffer结构

 Buffer是一个类似与Array的对象，但它主要是用于字节操作。也拥有一些类似于Array具有的方法，可以使用这些方法进行字节处理。

1.1模块结构

Buffer是一个JavaScript与C++结合的模块，它将性能相关部分使用C++实现，将非性能相关的部分用JavaScript实现。

Buffer所占用的内存不是通过V8分配的，属于堆外内存。由于V8垃圾回收性能的影响，将常用的操作对象用更高效和专用的内存分配回收策略来管理是个不错的思路。

Buffer是Node的一个核心模块，在进程启动时已经加载，并放置在全局对象中，使用Buffer时，不需require()引入，可直接使用。

1.2Buffer对象

Buffer对象类似于数组，它的元素为16进制的两位数(如：1F，0~255)。示例如下：

不同编码的字符串占用的元素个数各不相同，ASCII编码的字符占用一个元素，汉字占用两个元素。

当新建一个Buffer，而没有写入数据时，访问其中的元素，会得到一个0~255的随机值。

我们对Buffer中的一个元素赋值的话，它会默认的转为一个0~255的值，它的转换规则如下：

• 1.给元素赋值小于0，就将该值逐次加256，直到得到一个0~255的整数；
• 2.给元素赋值大于255，就逐次减256，直到得到一个0~255的整数；
• 3.给元素赋值是小数，舍弃小数部分，只保留整数部分。

1.3Buffer的内存分配

处理大量的字节数据不能采用需要一点内存就向系统申请一点内存的方式，这会造成很大的内存申请的系统调用，对操作系统有一定压力。为此Node在内存的使用上应用的是在C++层面申请，在JavaScript中分配的策略。

为了高效的使用申请来的内存，Node采用了slab分配机制。slab就是一个申请好的固定大小的内存区域，有以下三种状态：

• full：完全分配状态；
• partial：部分分配状态；
• empty：没有分配状态。

在node中，需要一个Buffer对象，可以通过以下方式指定对象的大小：

new Buffer(size)

Node以8KB为分界来区分Buffer是大对象还是小对象。在JavaScript层面，以它作为单位单元进行内存的分配。

分配小Buffer对象

 如果指定Buffer的大小少于8KB，Node会按照小对象的方式进行分配。Buffer的分配过程中主要使用一个局部变量pool作为中间处理对象，处于分配状态的slab单元都指向它。以下是分配一个全新的slab单元的操作，它会将新申请的SlowBuffer对象指向它：

var pool;

function allocPool() {
    pool = new SlowBuffer(Buffer.poolSize);  
    pool.used = 0;  
}

slab处于empty状态。

构造小Buffer对象的代码如下：

new Buffer(1024);

这次构造将会去检查pool对象，如果pool没有被创建，将会创建一个新的slab单元指向它：

if(!pool || pool.length - pool.used < this.length) {
    allocPool();
}

同时当前Buffer对象的parent属性指向该slab，并记录下是从这个slab的哪个位置(offset)开始使用的，slab对象自身也记录被使用了多少字节，代码如下：

this,parent = pool;
this.offset = pool.used;
pool.used += this.length;
if(pool.used & 7) {
    pool.used = (pool.used + 8) & ~7;
}

这时候的slab状态为partial。当再次创建一个Buffer对象时，构造过程中将会判断这个slab的剩余空间是否足够。如果足够就使用剩余空间，并更新slab的分配状态。如果剩余空间不足，将会重新构造slab，原slab中剩余的空间会造成浪费。

这就带来了一个问题，一个slab可能分配给多个Buffer对象使用，只有这些Buffer对象在作用域释放并都可以回收时，slab的8KB空间才会被回收。

分配大Buffer对象

如果需要超过8KB的Buffer对象，将会直接分配一个SlowBuffer对象作为slab单元，这个单元将会被这个大Buffer对象所独占。

上面提到的Buffer对象都是JavaScript层面上的，能够被V8的垃圾回收标记回收。但其内部的parent属性指向的SlowBuffer对象却来自于Node自身C++中的定义，是C++层面上的Buffer对象，所以内存不在V8的堆中。

2.Buffer的转换

Buffer对象可以直接与字符串之间相互转换，目前支持的字符串编码类型有以下几种：

• ASCII
• UTF-8
• UTF-16LE/UCS-2
• Base64
• Binary
• Hex

字符串转Buffer：

new Buffer(str, [encoding]);

当encoding不传入时，默认为utf-8。一个Buffer对象可以存储不同编码类型的字符串转码的值，调用write方法可以实现它：

buf.write(string, [offset], [length], [encoding]);

需要特别注意的是，不同编码所用的字节长度不同，将Buffer反转回来字符串时需要谨慎处理。

Buffer转字符串：

buf.toString([encoding], [start], [end]);

当encoding不传入时，默认为utf-8。可以通过设置encoding，start，end这3个参数实现整体或局部的转换。

3.Buffer的拼接

Buffer在使用时，通常是一段一段的方式传输。以下是常见的从输入流中读取内容的示例代码：

var fs = require('fs');

var rs = fs.createReadStream('test.md');
var data = '';
rs.on('data', function (chunk){
    data += chunk;
});
rs.on('end', function (){
    console.log(data);
});