记录 curl 提交数据编码 及 javascript 转换 unicode 问题

1、curl 提交数据编码问题#

在 windows 下使用 curl 发送一个 POST 请求的时候，遇到一个问题，传送的参数都不是 UTF-8编码的。

• 1、在 git-bash 下测试，locale都是 UTF-8，没有作用，服务端收到的还是 GBK 编码。
• 2、在 cmd 下测试，chcp 65001，没有作用，，服务端收到的还是 GBK 编码。
• 3、写入脚本文件（sh/bat），在上述两种环境下，都还是 GBK 的。

最后只能是使用 echo 输出数据，然后 curl 从 stdin 读取才行。

Copy Highlighter-hljs
echo  '{"url":"这里有中文和zimu","time":1526129881}' | \
curl 'http://192.168.17.11:8010/testsvr/post' \
      -H 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:76.0) Gecko/20100101 Firefox/76.0' \
      -H 'Accept: application/json, text/plain, */*' \
      -H 'Accept-Language: zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2' \
      -H 'Content-Type: application/json;charset=utf-8' \
      -H 'Origin: http://192.168.17.11:8010' \
      -H 'Connection: keep-alive' \
      -H 'Referer: http://192.168.17.11:8010/' \
      -H 'Cookie: id=cdfb03dfd29351d7b3aeb96b24218b86' \
      -X POST-d @-

2、javascript 转换 UniCode 问题#

网上很多转换代码是这样的：

Copy Highlighter-hljs
function encodeUnicode(str) {
    var res = [];
    for ( var i=0; i<str.length; i++ ) {
	res[i] = ( "00" + str.charCodeAt(i).toString(16) ).slice(-4);
    }
    return "\\u" + res.join("\\u");
}

这有一个问题，就是会把 ascii 字符也编码了，但很多时候，我们只需要编码非 ascii 字符，所以修改为下面

Copy Highlighter-hljs
function encodeUnicode(str) {
    var value = '';
    for (var i = 0; i < str.length; i++) {
        ch = str.charCodeAt(i);
        if (ch > 127) {
            value += '\\u' + str.charCodeAt(i).toString(16);
        } else {
            value += str[i];
        }
    }
    return value;
}

测试结果如下：

Copy Highlighter-hljs
console.log(encodeUnicode('{"url":"这里有中文和zimu","time":1526129881}'));
# 第一个结果
> "\u007b\u0022\u0075\u0072\u006c\u0022\u003a\u0022\u8fd9\u91cc\u6709\u4e2d\u6587\u548c\u007a\u0069\u006d\u0075\u0022\u002c\u0022\u0074\u0069\u006d\u0065\u0022\u003a\u0031\u0035\u0032\u0036\u0031\u0032\u0039\u0038\u0038\u0031\u007d"
# 第二个结果
> "{"url":"\u8fd9\u91cc\u6709\u4e2d\u6587\u548czimu","time":1526129881}"