关于 URL 编码及 JavaScript 编码函数【转载+整理】
原文地址:http://www.ruanyifeng.com/blog/2010/02/url_encoding.html
本文内容
- 引入
- 环境
- 测试
- JavaScript 编码函数
引入
URL 就是网址,只要上网,就一定会用到。
一般来说,URL 只能使用英文字母、阿拉伯数字和某些标点符号,不能使用其他文字和符号。比如,可以有 http://www.abc.com 这样的网址,但绝对不能有 http://www.aβγ.com,包含希腊字母的网址。因为 RFC 1738 有明确的规定:
"...Only alphanumerics [0-9a-zA-Z], the special characters "$-_.+!*'()," [not including the quotes - ed], and reserved characters used for their reserved purposes may be used unencoded within a URL."
“只有字母和数字[0-9a-zA-Z]、一些特殊符号“$-_.+!*'(),”[不包括双引号]、以及某些保留字,才可以不经过编码直接用于 URL。”
这意味着,如果URL中有汉字,就必须编码后使用。但是麻烦的是,RFC 1738 没有规定具体的编码方法,而是交给应用程序(浏览器)自己决定。这导致“URL编码”成为了一个混乱的领域。
下面就让我们看看,“URL编码”到底有多混乱。我会依次分析四种不同的情况,在每一种情况中,浏览器的URL编码方法都不一样。把它们的差异解释清楚之后,我再说如何用Javascript找到一个统一的编码方法。
环境
- Windows 2003 Server
- IE 7.0 / Fiddler2
- Firefox 7.0/17.0/ Firebug
测试
情况1:网址路径中包含汉字
在 IE 7.0 地址栏,输入“http://zh.wikipedia.org/wiki/春节”。注意,此时“春节”是网址路径的一部分。
图 1
图 2
在 Fiddler 查看下,发现左部分 URL 列为 /wiki/%E6%98%A5%E8%8A%82;右部分 HTTP 请求“Raw”页为 http://zh.wikipedia.org/wiki/%E6%98%A5%E8%8A%82。
“春”和“节”的 UTF-8 编码分别是 E6 98 A5 和 E8 8A 82,而 %E6%98%A5%E8%8A%82 按照顺序,在每个字节前加上百分号%,而 IE 自动将“春节”编码 UTF-8 编码。
在 Firefox 7.0/17.0 中测试,可以得到相同的结果。
图 3
因此,网址路径的编码,用的是 UTF-8 编码。
情况2:查询字符串包含汉字
在 IE 7.0 地址栏输入“http://www.baidu.com/s?wd=春节”。此时,“春节”属于查询字符串,不属于网址路径,不要与情况 1 混淆。
图 4
在 Fiddler 查看下,发现左部分 URL 列,以及右部分 HTTP 请求“Header”页,查询字符串的“春节”部分竟然是乱码。如下图所示:
图 5
图 6 上:Raw 页;下:HexView 页
再看下“Raw”页的内容,还是乱码;切换到“HexView”页,只能看十六进制了,发现“春节”转换成“B4 BA BD DA”,如下图所示:
“B4 BA BD DA”是“春节”GB2312 编码,因此,IE 将查询字符串以 GB2312 编码的格式发送出去了。
接下来看 Firefox 7.0 较低版本的处理方法,它略有不同。在地址栏输入后,按回车前与按回车后的区别,如下图所示:
图 7 左上:按回车前;右上:按回车后;下:Firebug 内容
按回车后,Firefox 7.0 自动将“春节”转换成 GB2131 编码;同样采用 GB2312 编码发送,但 Firefox 7.0 在每个字节前都加了百分号%。
但是 Firefox 17.0 高版本又不一样了,通过 Firebug 可以看到采用 UTF-8 编码。
查询字符串的编码,用的是操作系统的默认编码。
情况3:Get方法生成的URL包含汉字
前面说的是直接输入网址的情况,但是更常见的情况是,在已打开的网页上,直接用Get或Post方法发出HTTP请求。
根据台湾中兴大学吕瑞麟老师的试验,这时的编码方法由网页的编码决定,也就是由 HTML 源码中字符集的设置决定。
<meta http-equiv="Content-Type" content="text/html;charset=xxxx">
若 charset 为 UTF-8,则 URL 就以 UTF-8 编码;如果是 GB2312,URL 就以 GB2312 编码。
图 8
举例来说,百度是 GB2312 编码,Google 是 UTF-8 编码。因此,从它们的搜索框中搜索同一个词“春节”,生成的查询字符串是不一样的。
百度生成的是 %B4%BA%BD%DA,这是 GB2312 编码;Google 生成的是 %E6%98%A5%E8%8A%82,这是 UTF-8 编码。
GET 和 POST 方法的编码,用的是网页的编码。
情况4:Ajax 调用的 URL 包含汉字
前面三种情况都是由浏览器发出HTTP请求,最后一种情况则是由 Javascript 生成 HTTP 请求,也就是 Ajax 调用。还是根据吕瑞麟老师的文章,在这种情况下,IE 和 Firefox 的处理方式完全不一样。
举例来说,有这样两行代码:
url = url + "?q=" +document.myform.elements[0].value; // 假定用户在表单中提交的值是“春节”这两个字
http_request.open('GET', url, true);
那么,无论网页使用什么字符集,IE 传送给服务器的总是“q=%B4%BA%BD%DA”,而 Firefox 传送给服务器的总是“q=%E6%98%A5%E8%8A%82”。也就是说,在 Ajax 调用中,IE 总是采用 GB2312 编码(操作系统的默认编码),而 Firefox 总是采用 UTF-8 编码。
上面四种情况,不同的操作系统、浏览器、网页字符集等,都可能导致不同的编码结果。这对程序员来说,太恐怖了?是否有办法,保证客户端只用一种编码方法向服务器发出请求?当然有,使用 Javascript 先对 URL 编码,再向服务器提交,不要给浏览器插手的机会。因为,Javascript 的输出总是一致的,这就保证了服务器得到的数据是格式统一的。
Javascript 编码函数
escape
Javascript 有三个用于编码的函数,escape 函数是最古老的一个。虽然这个函数现在已经不提倡使用了,但是由于历史原因,很多地方还在使用它,所以有必要先从它讲起。
实际上,escape 不能直接用于 URL 编码,它的真正作用是返回一个字符的 Unicode 编码值。
>>> javascript:escape("春节")
"%u6625%u8282"
它的具体规则是,除了 ASCII 字母、数字、标点符号“@ * _ + - . /”以外,对其他所有字符进行编码。在 \u0000 到 \u00ff 之间的符号被转成%xx的形式,其余符号被转成 %uxxxx 的形式。对应的解码函数是 unescape。
所以,“Hello World”的escape()编码就是“Hello%20World”。因为空格的 Unicode 值是20(十六进制)。
>>> javascript:escape("Hello World")
"Hello%20World"
还有两个地方需要注意。
首先,无论网页的原始编码是什么,一旦被 Javascript 编码,就都变为 Unicode 字符。也就是说,Javascipt 函数的输入和输出,默认都是 Unicode 字符。这一点对下面两个函数也适用。
>>> javascript:escape("\u6625\u8282")
"%u6625%u8282"
>>> javascript:unescape("%u6625%u8282")
"春节"
>>> javascript:unescape("\u6625\u8282")
"春节"
其次,escape() 不对“+”编码。但是我们知道,网页在提交表单的时候,如果有空格,则会被转化为+字符。服务器处理数据的时候,会把+号处理成空格。所以,使用的时候要小心。
encodeURI
encodeURI 函数是 Javascript 中真正用来对 URL 编码的函数。相应的解码函数为 decodeURI 函数。
它着眼于对整个 URL 进行编码,因此除了常见的符号以外,对其他一些在网址中有特殊含义的符号“; / ? : @ & = + $ , #”,也不进行编码。编码后,它输出符号的 UTF-8 形式,并且在每个字节前加上百分号%。
>>> javascript:encodeURI("http://www.isp.com/app.cgi?arg1=1&arg2=Hello World")
"http://www.isp.com/app.cgi?arg1=1&arg2=Hello%20World"
>>> javascript:encodeURI("春节")
"%E6%98%A5%E8%8A%82"
>>> javascript:decodeURI("%E6%98%A5%E8%8A%82")
"春节"
>>> javascript:encodeURI("\u00a9")
"%C2%A9"
>>> javascript:decodeURI("\u00a9")
"©"
>>> javascript:decodeURI("%C2%A9")
"©"
需要注意的是,它不对单引号'编码。
encodeURIComponent
最后一个 Javascript 编码函数是 encodeURIComponent 函数,相应的解码函数为 decodeURIComponent。与 encodeURI 函数区别是,它用于对 URL 的组成部分进行个别编码,而不用于对整个 URL 进行编码。
因此,“; / ? : @ & = + $ , #”,这些在 encodeURI 中不被编码的符号,在 encodeURIComponent 中统统会被编码。至于具体的编码方法,两者是一样。
>>> javascript:encodeURIComponent("mail@example.com")
"mail%40example.com"
>>> javascript:encodeURI("mail@example.com")
mail@example.com