字符编码和字符集以及编码引出的问题和转换流的原理
字符编码和字符集
字符编码
计算机中储存的信息都是用二进制数表示的,而我们在屏幕上看到的数字英文、标点符号、汉字等字符是二进制数转换之后的结果。
按照某种规则,将字符存储到计算机中,称为编码.反之,将存储在计算机中的进制数按照某种规则解析显示出来,称为解码。
比如说,按照A规则存储,同样按照A规则解析,那么就能显示正确的文本符号。反之,按照A规则存储,再按照B规则解析,就会导致乱码现象。
编码:字符(能看懂的)->字节(看不懂的)
解码:字节(看不懂的)->字符(能看懂的)
字符编码Character Encoding :就是一套自然语言的字符与二进制数之间的对应规则。
编码表:生活中文字和计算机中二进制的对应规则。
字符集
字符集Charset:也叫编码表。是一个系统支持的所有字符的集合,包括各国家文字、标点符号、图形符号、数字等。
计算机要准确的存储和识别各种字符集符号,需要进行字符编码,一套字符集必然至少有一套字符编码。常见字符集有ASCII字符集、GBK字符集、Unicode字符集等。.
ASCII字符集:
ASCI是基于拉丁字母的一套电脑编码系统,用于显示现代英语,主要包括控制字符(回车键、退格、换行键等)和可显示字符(英文大小写字符、阿拉伯数字和西文符号)。
基本的ASCI字符集,使用7位( bits )表示一个字符,共128字符。ASCII的扩展字符集使用8位( bits)表示一个字符,共256字符,方便支持欧洲常用字符。
ISO-8859-1字符集:
拉丁码表,别名Latin-1,用于显示欧洲使用的语言,包括荷兰、丹麦、德语、意大利语、西班牙语等。
ISO-8859-1使用单字节编码,兼容ASCII编码。
GBxxx字符集:
GB就是国标的意思,是为了显示中文而设计的一套字符集。
GB2312:简体中文码表。一个小于127的字符的意义与原来相同。但两个大于127的字符连在起时,就表示一个汉字,
这样大约可以组合了包含7000多0个简体汉字,此外数学符号、罗马希腊的字母、日文的假名们都编进去了,
连在ASCII里本来就有的数字、标点字母都统统重新编了两个字节长的编码,这就是常说的"全角”字符,而原来在127号以下的那些就叫”半角”字符了。
GBK:最常用的中文码表。是在GB2312标准基础上的扩展规范,使用了双字节编码方案,
共收录了21003个汉字,完全兼容GB2312标准,同时支持繁体汉字以及日韩汉字等。
GB18030 :最新的中文码表。收录汉字70244个,采用多字节编码,每个字可以由1个、2个或4个字节组成。
支持中国国内少数民族的文字,同时支持繁体汉字以及日韩汉字等。
Unicode字符集:
Unicode编码系统为表达任意语言的任意字符而设计,是业界的种标准,也称为统一码、标准万国码。
它最多使用4个字节的数字来表达每个字母、符号,或者文字。有三种编码方案,UTF-8、UTF-16和UTF32.最为常用的UTF-8编码。
UTF-8编码,可以用来表示Unicode标准中任何字符,它是电子邮件、网页及其他存储或传送文字的应用中,优先采用的编码。
互联网工程工作小组(IETF)要求所有互联网协议都必须支持UTF-8编码。
所以,我们开发Web应用,也要使用UTF-8编码。它使用一至四个字节为每个字符编码,编码规则:
1.128个US-ASCII字符,只需一个字节编码。
2.拉丁文等字符,需要二个字节编码。
3.大部分常用字(含中文),使用三个字节编码
4.其他极少使用的Unicode辅助字符,使用四字节编码
编码引出的问题——FileReader读取GBK格式的文件
FileReader可以读取IDE默认编码格式(UTF-8)的文件
FileReader读取Windows系统创建文本,系统默认编码(中文GBK)会产生乱码
public static void main(String[] args) throws IOException { FileReader fr = new FileReader("G:\\22.txt"); int i; while ((i=fr.read())!=-1){ System.out.println((char)i); } fr.close(); }
当读取的文件编码格式是UTF-8的时候是可以正常读取
读取结果:
public static void main(String[] args) throws IOException { FileReader fr = new FileReader("G:\\22.txt"); int i; while ((i=fr.read())!=-1){ System.out.println((char)i); } fr.close(); }
读取结果:
当文件的编码格式非UTF-8的时候就会出现乱码
转换流的原理
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· 【自荐】一款简洁、开源的在线白板工具 Drawnix