第三章 深入分析Java Web中的中文编码问题
3.1 几种常见的编码格式
3.1.1 为什么要编码
一个字节 byte只能表示0~255个符号,要表示更多的字符,需要编码。
3.1.2 如何翻译
ASCII码:有128个,用一个字节的低7位表示。
ISO-8859-1,能表示256个,是单字节编码。
GB2312: 双字节编码,
GBK:是对GB2312的扩展,加入更多汉字,和GB2312兼容,BG2312编码的汉字可以用GBK来解码,不会乱码。
GB18030:
UTF-16:Unicode(统一码),ISO创建的全新的超语言字典。Unicode是JAVA和XML基础。 注意: Unicode是编码,也就是码和汉字(或其他国家语言)的对应关系。但是具体如何把这些编码存储,则要采取不同的编码方式,比如UTF-16和UTF-8。UTF-16就用固定两个字节表示一个UNicode编码。因为是固定两个字节的长度,所以操作起来很简单,这也是JAVA以UTF-16作为字符的内存存储格式的原因。
UTF-8: UTF的缺点是浪费,因为很多字符用一个字节就够了,用不上两个字节。
UTF-8的编码规则: 如果一个字节最高位为0,XXX
如果一个字节以11开头,XXX
如果一个字节以10开头,XXX
3.2 在JAVA中需要编码的场景
什么场合需要编码
3.2.1 在I/O操作中存在的编码
在字符到字节或从字节到字符的转换,而这种转换的场景主要是I/O. I/O包括磁盘和网络两种I/O.
Reader类是在JAVA IO读字符的父类,而inputstream类是读字节的父类,InputStreamReader类就是关联字节到字符的桥梁,字节到字符的转换,而对具体字节到字符的编码实现,它又委托StreamDecoder去做,解码过程中必须制定Charset,如果没有制定,则将使用本地环境中的默认字符集,如在中文环境中使用GBK。
package ioTest; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; import java.io.OutputStreamWriter; import java.io.UnsupportedEncodingException; public class decodeTest { public static void main(String[] args) { String file = "XXX.txt"; String charset = "UTF-8"; try { FileOutputStream outputStream = new FileOutputStream(file); try { OutputStreamWriter writer = new OutputStreamWriter(outputStream, charset); try { writer.write("要保存的中文字符"); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } } catch (UnsupportedEncodingException e) { // TODO Auto-generated catch block e.printStackTrace(); } } catch (FileNotFoundException e) { // TODO Auto-generated catch block e.printStackTrace(); } finally{ writer.close(); } } }
3.2.2 在内存操作中编码
字节和字符转换:
String s = "lfdasjlfjasljfasfa"; byte[] b = s.getBytes("UTF-8"); String n = new String(b, "UTF-8");
byte[] 和 char[]之间编码和解码:
String string = "fsdfsd"; Charset chars = Charset.forName("UTF-9"); ByteBuffer byteBuffer = chars.encode(string); CharBuffer charBuffer = chars.decode(byteBuffer);
3.3 在JAVA中如何编码
3.3.1 按照ISO-8859-1编码
3.3.2 按照GB2312编码
3.3.3 按照GBK编码
3.3.4 按照UTF-16编码
3.3.5 按照UTF-8编码
3.3.6 编码UTF-8编码代码片段
3.3.7 几种编码格式的比较
GBK是对GB2312扩展,可以表示所有的汉字。
UTF-8比UTF-16更适合网络传输
3.4 在JAVA web中编解码
http请求过程中,存在编码的地方是:
前段发过啦来的URL, cookie, Parameters。
服务器接收到HTTP请求后,要解析HTTP,其中URL,cookie和POST表单参数需要解码。
服务器可能读网络和本地的文件和DB,可能存在编码问题。
当servlet处理完所有请求后,需要将这些数据再编码,发送给浏览器。
3.4.1 URL的编解码
URL可能存在中文,所以需要编码。
浏览器编码URL是将非ASCII字符按照某种编码格式编码成16进制数字后将每个16进制表示的字符前加上%。
浏览器可以设置编码格式。
Tomcat是如何解码的?
’URL的URI部分进行解码的字符集是在<Connector URIEncodeing="UTF-8">里设置的。
QueryString的解析过程:GET方式HTTP请求的querystring和POST方式HTTP请求的表单参数都是作为parameters保存的,都通过request.getParameter();
queryString的解码字符集是在哪定义的呢? 是在HTTP的header的contentType或者是默认的ISO-8859-1,如果要用HTTP的header中
中定义的编码需要设置<Connector URIEncoding="UTF-8" useBodyEncodingForURI='true'>
3.4.2 HTTP Header的编解码
除了上面的URL外,还可能在header中传递其他参数,如cookie,redirectPath等。这些用户设置的值也可能存在编码问题。
对Header的解码是在调用request.getHeader()时进行的。默认是按照ISO-8859-1,如果header中有非ASCII,会乱码。
如果要用header传递中文,可以传之前编码,然后解码:
1、客户端
method.addRequestHeader("hello",URLEncoder.encode("中文","UTF-8"));
2、服务器
value=URLDecoder.decode(value);
3.4.3 POST表单的编解码
POST表单提交的参数的解码是在第一次调用request.getParameter时发生的,与queryString不同,是通过HTTP的body传递的,当提交表单的时候,根据ContentType的charset编码格式对表单中填入的参数编码,然后提交到服务器,在服务器端也用contentType来解码。这个编码、解码的字符集使我们自己设置的。
注意一定要在第一次调request.getParameter方法之前就设置request.setCharacterEncoding(charset), 否则会乱码。
3.4.4 HTTP BODY的编解码
response.setCharacterEcoding可以设置编码方式,覆盖request.getCharacterEncoding的值,并且通过contentType返回给客户端。浏览器根据content-Type解码;如果么有这个值,按照HTML中的charset来解码。
和JDBC的编码方式要一致。
3.5 在JS中的编码问题
3.5.1 外部引入JS文件
如何js文件本身的编码和JS中使用的字符编码不一致,可能就有乱码。比如*.js文件是UTF-8,而页面是GBK,就会有乱码问题。
3.5.2 JS的URL编码
Ajax的http_request('get', url, ture)调用,URL在IE下用OS的默认编码,在Firefox下是UTF-8编码。
JS有三个函数是和编码解码相关的。
JAVA是如何来解码的?JAVA端处理URL编码、解码有连个类: 分别是Java.net.URLEncoder和java.net.URLDecoder
3.5.3 其他需要编码的地方
3.6 常见问题分析
3.6.1 中文变成了看不懂的字符
解码和编码用的字符集不一样,就会出现乱码。
3.6.2 一个汉字变成一个问号
ISO-8859-1遇到不认识的用3F表示,是问号。
3.6.3 一个汉字变成两个问号
3.6.4 一种不正常的正确编码
3.7 一种繁简转换的实现方式
3.8 总结