一、Java 上层技术与 JVM
1、高级语言
计算机系统体系对我们来说越来越远,在不了解底层实现方式的前提下,通过高级语言很容易编写程序代码。但事实上计算机并不认识高级语言。
2、Java VS C++
Java 语言给我们提供了内存动态分配和垃圾收集技术,使得我们不用过多的关注底层的细节。
垃圾收集机制为我们打理了很多繁琐的工作,大大提高了开发的效率,但是,垃圾收集也不能万能的,懂得 JVM内部的内存结构、工作机制,是设计高扩展性应用和诊断运行时时间的基础,也是 Java 工程师进阶的必备能力。
二、Java 及 JVM 简介
1、Java生态圈
Java是目前应用最为广泛的软件开发平台之一。随着Java以及Java社区的不断壮大,Java 也早已不再是简简单单的一门计算机语言了,它更是一个平台、一种文化、一个社区。
-
- 作为一个平台,Java虚拟机扮演着举足轻重的作用。
Groovy、Scala、 JRuby、Kotlin等都是Java平台的一部分;
-
- 作为一种文化,Java几乎成为了“开源”的代名词。
第三方开源软件和框架。如Tomcat、struts,MyBatis,Spring等。
就连JDK和JVM自身也有不少开源的实现,如openJDK、Harmony。
-
- 作为一个社区,Java拥有全世界最多的技术拥护者和开源社区支持,有数不清的
论坛和资料。从桌面应用软件、嵌入式开发到企业级应用、后台服务器、中间件,都可以看到Java的身影。其应用形式之复杂、参与人数之众多也令人咋舌。
世界上没有最好的编程语言,只有最适用于具体应用场景的编程语言!
2、Java:跨平台的语言
"Write once, run anywhere."
3、Java虚拟机规范
The Java Virtual Machine is the cornerstone of the Java platform. It is the component of the technology responsible for its hardware- and operating system-independence, the small size of its compiled code, and its ability to protect users from malicious programs.
The Java Virtual Machine is an abstract computing machine. Like a real computing machine, it has an instruction set and manipulates various memory areas at run time. It is reasonably common to implement a programming language using a virtual machine; the best-known virtual machine may be the P-Code machine of UCSD Pascal.
The first prototype implementation of the Java Virtual Machine, done at Sun Microsystems, Inc., emulated the Java Virtual Machine instruction set in software hosted by a handheld device that resembled a contemporary Personal Digital Assistant (PDA). Oracle's current implementations emulate the Java Virtual Machine on mobile, desktop and server devices, but the Java Virtual Machine does not assume any particular implementation technology, host hardware, or host operating system. It is not inherently interpreted, but can just as well be implemented by compiling its instruction set to that of a silicon CPU. It may also be implemented in microcode or directly in silicon.
The Java Virtual Machine knows nothing of the Java programming language, only of a particular binary format, the
class
file format. Aclass
file contains Java Virtual Machine instructions (or bytecodes) and a symbol table, as well as other ancillary information.For the sake of security, the Java Virtual Machine imposes strong syntactic and structural constraints on the code in a
class
file. However, any language with functionality that can be expressed in terms of a validclass
file can be hosted by the Java Virtual Machine. Attracted by a generally available, machine-independent platform, implementors of other languages can turn to the Java Virtual Machine as a delivery vehicle for their languages.The Java Virtual Machine specified here is compatible with the Java SE 8 platform, and supports the Java programming language specified in The Java Language Specification, Java SE 8 Edition.
4、JVM:跨语言的平台
随着Java7的正式发布,Java虚拟机的设计者们通过JSR-292规范基本实现在 Java虚拟机平台上运行非Javai语言编写的程序。
Java虚拟机根本不关心运待在其内部的程序到底是使用何种编程语言编写的,它只关心“字节码”文件。也就是说Java虚拟机拥有语言无关性,并不会单纯地与Java语言“终身绑定”,只要其他编程语言的编译结果满足并包含Java虚拟机的内部指令集、符号表以及其他的辅助信息,它就是一个有效的字节码文件,就能够被虚拟机所识别并装载运行。
Java 不是最强大的语言,但是 JVM 是最强大的虚拟机。
5、字节码
(1)我们平时说的java字节码,指的是用java语言编译成的字节码。准确的说任何能在jvm平台上执行的字节码格式都是一样的。所以应该统称为:jvm字节码。
(2)不同的编译器,可以编译出相同的字节码文件,字节码文件也可以在不同的JVM上运行。
(3)Java虚拟机与Java 语言并没有必然的联系,它只与特定的二进制文件格式—class文件格式所关联,class 文件中包含了Java虚拟机指令集(或者称为字节码、Bytecodes)和符号表,还有一些其他辅助信息。
6、多语言混合编程
(1)Java平台上的多语言混合编程正成为主流,通过特定领域的语言去解决特定领域的问题是当前软件开发应对旧趋复杂的项目需求的一个方向。
试想一下,在一个项目之中,并行处理用clojure语言编写,展示层使用JRuby/Rails,中间层则是Java,每个应用层都将使用不同的编程语言来完成,而且,接口对每一层的开发者都是透明的,各种语言之间的交互不存在任何困难,就像使用自己语言的原生API一样方便,因为它们最终都运行在一个虚拟机之上。
(2)对这些运行于Java虚拟机之上、Java之外的语言,来自系统级的、底层的支持正在迅速增强,以JSR-292为核心的一系列项目和功能改进(如Davinci Machine项目、Nashorn引擎、InvokeDynamic指令、java.lang.invoke包等),推动Java虚拟机从“Java语言的虚拟机”向“多语言虚拟机”的方向发展。
三、Java 发展的重大事件
- 1990年,在 Sun 计算机公司中,由 Patrick Naughton、MikeSheridan 及 James Gosling 领导的小组 Green Team,开发出新的程序语言,命名为 Oak,后期命名为 Java。
- 1995年,Sun 正式发布 Java 和 HotJava 产品,Java 首次公开亮相;
- 1996年1月23日 Sun Microsystems 发布了 JDK1.0;
- 1998年,JDK 1.2 版本发布。同时,Sun发布了 JSP/Servlet、EJB规范,以及将 Java 分成了 J2EE、J2SE和J2ME。这表明了 Java开始向企业、桌面应用和移动设备应用三大领域挺进。
- 2000,JDK 1.3 发布,Java HotSpot Virtual Machine 正式发布,成为Java的默认虚拟机;
- 2002年,JDK 1.4发布,古老的 Classic 虚拟机退出历史舞台;
- 2003年年底,Java 平台的 Scala 正式发布,同年 Groovy 也加入 Java 阵营;
- 2004年,JDK 1.5发布。同时 JDK 1.5改名为 JavaSE 5.0;
- 2006年,JDK 6发布。同年,Java 开源并建立了 OpenJDK,顺理成章,HotSpot虚拟机也成为了 OpenJDK中的默认虚拟机;
- 2007年,Java 平台迎来了新伙伴 Clojure;
- 2008年,Oracle 收购了BEA,得到了 JRockit 虚拟机;
- 2009年,Twitter 宣布把后台大部分程序从 Ruby 迁移到 Scala,这是Java平台的又一次大规模应用。
- 2010年,Oracle 收购了Sun,**获得Java商标和最具有价值的HotSpot虚拟机,**此时,Oracle 拥有市场占用率最高的两款虚拟机 HotSpot 和 JRockit,并计划在未来对它们进行整合:HotRockit。 JCP组织管理:Java 语言。
- 2011年,JDK7 发布。在 JDK 1.7u4中,正式启用了新的垃圾回收器 G1;
- 2014年,发布JDK 8.0,是继JDK 5.0以来变化最大的版本;
- 2017年,JDK9 发布。将G1设置成默认 GC,替代 CMS;
- 同年,IBM的 J9开源,形成了现在的 Open J9社区;
- 2018年,Android 的 Java 侵权案判决,Google 赔偿 Oracle计88亿美元;
- 同年,Oracle 宣告JavaEE 成为历史名词,JDBC、JMS、Servlet赠予 Eclipse 基金会;
- 同年,JDK11发布,LTS版本的JDK,发布革命性的ZGC,调整JDK授权许可;
- 2019年,JDK12发布,加入 RedHat 领导开发的Shenandoah GC;
Open JDK 和 Oracle JDK
在 JDK 11之前,OracleJDK中还会存在一些OpenJDK中没有的,闭源的功能。但是JDK11中,我们可以认为OpenJDK和OracleJDK 代码实质上已经完全一致的程度。
四、虚拟机与Java虚拟机
1、虚拟机
虚拟机(Virtual Machine),就是一台虚拟的计算机。是一款软件,用来执行一系列虚拟计算机指令。
虚拟机可以分为系统虚拟机和程序虚拟机。
-
-
- 系统虚拟机:VMware,Visual Box属于系统虚拟机,它们是完全是对物理计算机的仿真,提供了一个可运行完整操作系统的软件平台。
- 程序虚拟机:典型代表就是 Java 虚拟机,它专门为执行单个计算机程序而设计,在 Java 虚拟机中执行的指令我们称为 Java 字节码指令。
-
无论是哪种虚拟机,在上面运行的软件都被限制于虚拟机提供的资源中。
2、Java 虚拟机
(1)概述
-
-
- Java 虚拟机是一台执行 Java字节码的虚拟计算机,它拥有独立的运行机制,其运行的 Java 字节码也未必由Java语言编译而成;
- JVM 平台的各种语言可以共享 java 虚拟机带来的跨平台性、优秀的垃圾回收器,以及可靠的即时编译器;
- Java 技术的核心就是 Java 虚拟机(JVM,Java Virtual Machine),因为所有的 Java 程序都允许在 Java 虚拟机内部。
-
(2)作用
Java 虚拟机就是二进制字节码的运行环境,负责装载字节码到其内部,解释/编译为对应平台上的机器指令执行。每一条 Java 指令,Java 虚拟机规范中都有详细定义,如怎么取操作数,怎么处理操作数,处理结果放在哪里。
(3)特点
-
-
- 一次编译,到处运行
- 自动内存管理
- 自动垃圾回收功能
-
3、JVM的位置
JVM是运行操作系统之上的,它与硬件没有直接的交互。
五、JVM的整体结构
- HotSpot VM 是目前市面上高性能虚拟机的代表作之一;
- 它采用解释器与即时编译器并存的架构;
- 在今天,Java 程序的运行性能早已脱胎换骨,已经达到了可以和 C/C++程序一较高下的地步;
六、Java代码执行流程
执行引擎将字节码指令(class)编译成机器指令。
JIT 编译器:针对反复执行的代码(热点代码),将常用的字节码指令编译成机器指令再缓存起来。
七、JVM的架构模型
Java 编译器输入的指令流基本上是一种基于栈的指令集结构,另外一种指令集架构这是基于寄存器的指令集架构。
具体来说:这两种架构之间的区别:
(1)基于栈式架构的特点
-
- 设计和实现更简单,适用于资源受限的系统;
- 避开了寄存器的分配难题:使用零地址指令方式分配;
- 指令流中的指令大部分是零地址指令,其执行过程依赖于操作栈。指令集更小,编译器容易实现;(以8位一个字节为指令,指令集更小,但是指令较多)
- 不需要硬件支持, 可移植性更好,更好实现跨平台;
(2)基于寄存器架构的特点
-
- 典型的应用是X86的二进制指令集:比如传统的PC以及Android的Davlik虚拟机;
- 指令集架构则完全依赖硬件,可移植性差;
- 性能优秀和执行更高效;
- 花费更少的指令去完成一项操作;
- 大部分情况下,基于寄存器架构的指令集往往都以一地址指令,二地址指令和三地址指令为主,而基于栈式架构的指令集却是以零地址指令为主;
Java 编译器输入的指令流基本上是一种基于栈的指令集架构,另外一种指令集架构则是基于寄存器的指令集架构。
举例:同样执行2+3这种逻辑操作,其指令分别如下:
① 基于栈的计算流程(以Java虚拟机为例):
iconst_2 //常量2入栈
istore_1
iconst_3 //常量3入栈
istore_2
iload_1
iload_2
iadd //常量2、3出栈,执行相加
istore_ //结果s入栈
② 基于寄存器的计算流程:
mov eax,2 //将eax寄存器的值设为2
add eax, 3 //将 eax 寄存器的值加3
总结:
由于跨平台性的设计,Java 的指令都是根据栈来设计的。不同平台的CPU架构不同,所以不能设计为基于寄存器的。有点是跨平台,指令集小,编译器容易实现,缺点是性能下降,实现同样的功能需要更多的指令。
时至今日,尽管嵌入式平台已经不是Java程序的主流运行平台了(准备来说应该是HotSpotVM的宿主环境已经不局限于嵌入式平台了),那么为什么不将架构更换为基于寄存器的架构呢?
基于栈架构的优点:
-
- 跨平台性、指令集小、指令多;
- 执行性能比寄存器差;
八、JVM 的生命周期
1. 虚拟机的启动
Java 虚拟机的启动是通过引导类加载器(Bootstrap class loader)创建一个初始类(initial class)来完成的,这个类是由虚拟机的具体实现指定的。
Object类 是由引导类加载器加载。
2. 虚拟机的执行
-
- 一个运行中的 Java 虚拟机有着一个清晰的任务:执行 Java 程序;
- 程序开始执行时他才运行,程序结束时他就停止;
- 执行一个所谓的 Java 程序的时候,真正在执行的是一个叫做 Java 虚拟机的进程。
3. 虚拟机的退出
有如下的几种情况:
-
- 程序正常执行结束;
- 程序在执行过程中遇到了异常或错误而异常终止;
- 由于操作系统出现错误而导致 Java 虚拟机进程终止;
- 某线程调用 Runtime 类或 System 类的 exit 方法,或Runtime 类的 halt 方法,并且 Java 安全管理器也允许这次 exit 或 halt 操作;
- 除此之外,JNI(Java Native Interface)规范描述了用 JNI Invocation API 来加载或卸载 Java 虚拟机时,Java 虚拟机的退出情况;
九、JVM的发展历程
1. Sun Classic VM
-
- 早在 1996年 Java 1.0版本的时候,Sun 公司发布了一款名为 Sun Classic VM 的Java虚拟机,它同时也是 世界上第一款商用 Java 虚拟机,JDK1.4 时完全被淘汰;
- 这款虚拟机内部只提供解释器;(没有JIT 及时编译器,效率比较低下)
- 如果使用 JIT 编译器,就需要进行外挂。但是一旦使用了 JIT 编译器,JIT就会接管虚拟机的执行系统。解释器就不再工作。解释器和编译器不能配合工作。
- 现在 HotSpot 内置了此虚拟机;
2. Exact VM(准确式虚拟机)
-
- 为了解决上一个虚拟机问题,JDK1.2时,Sun 提供了此虚拟机;
- Exact Memory Management:准确式内存管理
- 也可以叫 Non-Conservative/Accurate Memory Management;
- 虚拟机可以知道内存中某个位置的数据具体是什么类型;
- 具备现代高性能虚拟机的雏形
- 热点探测;
- 编译器与解释器混合工作模式
- 只在Solaris平台短暂使用,其他平台还是 classic vm
- 英雄气短,终被 HotSpot 虚拟机替换。
3. HotSpot VM
SUN 公司的 HotSpot VM(常用商用虚拟机之一)
-
- HotSpot 历史
- 最初由一家名为 "Longview Technologies" 小公司设计;
- 1997年,此公司被 Sun 收购;2009年,Sun 公司被甲骨文收购;
- JDK1.3时,HotSpot VM 成为默认虚拟机;
- 目前 HotSpot占有绝对的市场地位,称霸武林从服务器、桌面到移动端、嵌入式都有应用;
- 不管是现在仍在广泛使用的JDK6,还是使用比例较多的JDK8中,默认的虚拟机都是HotSpot;
- Sun/Oracle JDK 和 Open JDK 的默认虚拟机;
- 默认介绍的都是 HotSpot,相关机制也主要是指 HotSpot的GC机制。
- 从服务器、桌面到移动端、嵌入式都有应用;
- 名称中的 HotSpot 指的就是它的热点代码探测技术
- 通过计数器找到最具编译价值代码,触发即时编译或栈上替换;
- 通过编译器与解释器协同工作,在最优化的程序响应时间与最佳执行性能中取得平衡
- HotSpot 历史
4. JRockit VM
BEA 的 JRockit(常用商用虚拟机之一)
-
- 专注于服务器端应用
- 它可以不太关注程序启动速度,因此JRockit内部不包含解析器实现,全部代码都靠即时编译后执行;
- 大量的行业基准测试显示,JRockit JVM 是世界上最快的 JVM。
- 使用 JRockit 产品,客户已经体验到了显著的性能提高(超过70%)和硬件成本的减少(50%)
- 优势:全面的 Java 运行时解决方案组合2008年,BEA 被 Oracle 收购;
- JRockit 面向延迟敏感型应用的解决方案 JRockit Real Time 提供以毫秒或微妙级的 JVM 响应时间,适合财务、军事指挥、电信网络的需要;
- MissionControl 服务套件,它是一组以极低的开销来监控、管理和分析生产环境中的应用程序的工具;
- 2008年,BEA 被 Oracle 收购;
- Oracle 表达了整合两大优秀虚拟机的工作,大致在 JDK8中完成。整合的方式是在HotSpot的基础上,移植JRockit的优秀特性;
- 专注于服务器端应用
5. J9
IBM 的J9(常用商用虚拟机之一)
-
- 全称:IBM Technology for Java Virtual Machine,简称 IT4J,内部代号:J9;
- 市场定位与 HotSpot 接近,服务器端、桌面应用、嵌入式等多用途 VM;
- 广泛用于IBM的各种 Java 产品;
- 目前,有影响力的三大商用虚拟机之一,也号称是世界上最快的 Java 虚拟机;
- 2017年左右,IBM 发布了开源 J9 VM,命名为 OpenJ9,交给 Eclipse 基金会管理,也称为 Eclipse OpenJ9;
6. KVM 和 CDC/CLDC HotSpot
-
- Oracle 在 Java ME 产品线的两款虚拟机为:CDC/CLDC HotSpot Implementation VM;
- KVM(Kilobyte)是CLDC-HI早期产品;
- 目前移动领域地位尴尬,智能手机被 Android和iOS二分天下;
- KVM 简单、轻量、高度可移植性,面向更低端的设备上还维持自己的一片市场所有的虚拟机的原则:一次编译,导出运行;
- 智能控制器、传感器;
- 老人手机,经济欠发达地区的功能手机;
- 所有的虚拟机的原则:一次编译,导出运行;
7. Azul VM 和 Liquid VM
(1)Azul VM
-
- 前面三大“高性能Java虚拟机”使用在通用硬件平台上;
- 这里Azul VM 和 BEA Liquid VM 是与特定硬件平台绑定、软硬件配合的专有虚拟机;Azu VM 是Azul System公司在 HotSpot 基础上进行大量改进,运行了 Azul Systems 公司的专有硬件 Vega 系统上的 Java 虚拟机;
- 高性能Java虚拟机中的战斗机;
- Azu VM 是Azul System公司在 HotSpot 基础上进行大量改进,运行了 Azul Systems 公司的专有硬件 Vega 系统上的 Java 虚拟机;
- 每个Azul VM示例都可以管理至少数十个CPU和数百GB内存的硬件资源,并提供在巨大内存范围内实现可控的GC时间的垃圾收集器、专有硬件优化的线程调度等优秀特性;
- 2010 年,Azul Systems公司开始从硬件转向软件,发布了自己的Zing JVM,可以在通用X86平台上提供接近与 Vega系统的特性;
(2)Liquid VM
-
- 高性能Java虚拟机中的战斗机;
- BEA 公司开发的,直接运行在自家 Hypervisor 系统上;
- Liquid VM 技术现在的JRockit VE(Virtual Edition),Liquid VM不需要操作系统的支持,或者说它本身实现了一个专用操作系统的必要功能,如线程调度、文件系统、网络支持等
- 随着JRockit 虚拟机终止开发,Liquid VM 项目也停止了;
8. Apache Harmony
Apache Harmony
-
- Apache 也层级推出过与 JDK1.5 和 JDK1.6兼容的 Java运行平台 Apache Harmony;
- 它是IBM和Intel联合开发的开源 JVM,收到同样开源的 OpenJDK的压制,Sun坚决不然 Harmony获得 JCP 认证,最终于2011年退役,IBM转而参与OpenJDK;
- 虽然目前并没有Apache Harmony 被大规模商用的案例,但是它的 Java 类库代码吸纳进 Android SDK。
9. Microsoft JVM
-
- 微软为了在 IE3浏览器中支持 Java Applets,开发了 Microsoft JVM;
- 只能在 window 平台下运行。但确是当时 Windows 下性能最好的 Java VM;
- 1997年,Sun 以侵犯商标、不正当竞争罪名指控微软成功,赔了 Sun 很多钱。微软在 WindowsXP SP3 中抹掉了其 VM。现在 windows 上安装的 JDK 都是 HotSpot。
10. TaobaoJVM
-
- 由 AliJVM团队发布。阿里,国内使用 Java 最强大的公司,覆盖云计算、金融、物流、电商等众多领域,需要解决高并发、高可用、分布式的复合问题。有大量的开源产品。
- 基于 OpenJDK 开发了自己的定制版本 AlibabaJDK,简称AJDK。是整个阿里Java 体系的基石。
- 基于OpenJDK HotSpot VM 发布的国内第一个优化、深度定制且开源的高性能服务器版 Java 虚拟机。
- 创新的 GCIH(GC invisible heap)技术实现了 off-heap,即将生命周期较长的 Java 对象从 heap 中移到 heap 之外,并且 GC不能管理GCIH内部的 Java 对象,以此达到降低GC的回收频率和提升GC 的回收效率的目的。
- GCIH 中的对象还能够在多个 Java 虚拟机进程中实现共享
- 使用 crc32 指令实现 JVM intrinsic 降低 JNI 的调用开销
- PMU hardware 的 Java profiling tool 和诊断协助功能
- 针对大数据场景的 ZenGC;
- Taobao VM 应用在阿里产品上性能高,硬件严重一阿里 Intel 的 CPU,损失了兼容性,但提高了性能;
- 目前已经在淘宝、天猫上限,把 Oracle 官方 JVM 版本全部替换了。
11. Dalvik VM
-
- 谷歌开发的,应用于 Android 系统,并在 Android2.2 中提供了 JIT,发展迅猛;
- Dalvik VM 只能称作虚拟机,而不称作 “”Java虚拟机“”,它没有遵循 Java 虚拟机规范;
- 不能直接执行 Java 的 Class 文件;
- 基于寄存器架构,不是 JVM 的栈架构;
- 执行的是编译以后 dex(Dalvik Executable) 文件。执行效率比较高;Android5.0 使用支持提前编译(Ahead Of Time Compilation, AOT)的ART VM 替换Dalvik VM;
- 它执行的 dex(Dalvik Executable) 文件可以通过 Class 文件转化而来,使用 Java 语法编写应用程序,可以直接使用大部分的 Java API 等。
- Android5.0 使用支持提前编译(Ahead Of Time Compilation, AOT)的ART VM 替换Dalvik VM;
12. Graal VM
-
- 2018年 4月,Oracle Labs公开了Graal VM,号称“Run Programs Faster Anywhere”,勃勃野心;
- Graal VM 在 HotSpot VM基础上增强而成的 跨语言全栈虚拟机,可以作为“任何语言的运行平台使用”。语言包括:Java、Scala、Groovy、Kotlin;C、C++、JavaScript、Ruby、Python、R等
- 支持不同语言中混用对方的接口和对象,支持这些语言使用以及编写好的本地库文件;
- 工作原理是将这些语言的源代码或源代码编译后的中间格式,通过解释器转换为能被Graal VM 接受的中间表示。Graal VM 提供 Truffle 工具集快速构建而向一种新语言的解释器。在运行时还能进行即时编译优化,获得比原生编译器更优秀的执行效率;
- 如果说 HotSpot 有一天真的被取代,Graal VM希望最大。但是Java 软件生态没有丝毫变化。