NodeJS笔记：处理非utf8编码

 最近研究了下nodejs读写GBK文件的方法，nodejs原生的API接口如

fs.readFile(filename,[encoding],[callback])

其encoding参数是不支持gbk的。实际上，如果不传encoding参数，返回的结果是一个Buffer类型的对象；如果传入参数，返回的是buffer.toString(encoding)的结果，也就是对一个buffer编码的结果。纯Javascript是Unicode友好的但对于处理二进制数据并不合适。Buffer对象就是为了解决这个问题，我理解Buffer为固定长度的字节数组。现在已经知道encoding参数实际上是交给Buffer.toString方法来处理的。希望Buffer.toString在不久的将来也能原生支持gbk编码。从字节流转换到特定的一种字符编码，我想这应该只是时间问题。

 

    虽然nodejs API不支持GBK字符串，但 iconv 这个nodejs插件模块却提供了类似的功能。来看看它的示例：

var gbk_to_utf8 = new Iconv('GBK', 'UTF8');

var buffer = gbk_to_utf8.convert(fs.readFileSync('path/to/gbkencodefile'));

console.log(buffer.toString());

   构造函数接收两个encoding参数，标识编码转换规则。Iconv实例的convert方法接收一个buffer参数，按Iconv实例的规则进行转换。一般来说，只有buffer里的字节数组能被Iconv实例的fromEncoding正确解码，才能转换到正确的targetEncoding。例如网页爬虫，得事先解析页面的头部，通过"Content-Type"或"charset"得到源编码，再构造一个从源编码到目标编码的Iconv实例，才能得到想要的正确编码的目标数据。因为Buffer.prototype.toString(encoding)不支持GBK，所以暂时还没办法把一个UTF8编码的网页下载下来编码成GBK字符串写入DB或者输出到控制台。Javascript里的字符串只支持UTF8编码，Iconv只在Buffer层做编码转换。

    Iconv是C++编写的node插件，暂时只能在linux环境编译出来，所以在windows下还不能使用。不过从v0.6.0版本做出的对windows的原生支持的努力来看，将来nodejs插件应该也会慢慢支持windows平台。