Nodejs抓取非utf8字符编码的页面
纯Javascript转换编码的模块 iconv-lite可以实现window下的转换 ,通过npm可以安装此模块
var http = require('http'); var iconv = require('iconv-lite'); var url=require('url'); var html = ""; var getURL = url.parse('http://bj.soufun.com/'); var req =http.get(getURL, function (res) { res.setEncoding('binary');//or hex res.on('data',function (data) {//加载数据,一般会执行多次 html += data; }).on('end', function () { var buf=new Buffer(html,'binary');//这一步不可省略 var str=iconv.decode(buf, 'GBK');//将GBK编码的字符转换成utf8的 console.log(str); }) }).on('error', function(err) { console.log("http get error:",err); });
机器瞎学/数据掩埋/模式混淆/人工智障/深度遗忘/神经掉线/计算机幻觉/专注单身二十五年