基于Javaagent技术实现字节码增强及Instrumentation接口详解
前言
了解Java基础的同学都知道Java的运行是需要先将Java代码编译成.class文件,而.class文件中存储的就是Java的字节码，类加载器通过加载字节码也就是.class文件才能最终运行Java代码。通常一个.class文件生成之后就无法修改，因为字节码比较难看懂，无法或很难对其进行修改。但是如果想要在.class文件生成之后对程序逻辑进行扩展有什么好办法吗？最简单的就是修改.java代码，然后重新编译，这一种最简单。但是如果想扩展一个公共逻辑，比如统一日志打印等，就需要对每个类源代码进行修改，且会耦合业务代码，那么此时就可以采用字节码增强的技术来实现。
一、字节码
1、字节码简述
Java和C语言很大的不同是C语言不是跨平台的，C语言编译后就是对应CPU的汇编指令，不同操作系统的汇编指令有差异，所以无法跨平台。而Java语言编译之后是字节码，字节码需要通过Java虚拟机来运行，而不同操作系统的Java虚拟机是定制的，所以针对不同的操作系统，JVM会将相同格式的字节码翻译成对应操作系统的汇编指令运行，所以JVM不是跨平台的，但是Java代码是可以跨平台运行的。所以Java跨平台最大原因就是因为编译成了字节码，从而实现“一次编译，到处运行”的特点。
字节码文件需要通过javac命令来将.java文件编译成.class文件,.class文件中存储的就是字节码
字节码的格式是十六进制数字组成，JVM每次读取一个字节也就是两个十六进制数字来加载字节码，最终将字节码在转换成对应操作系统的命令去执行。
Java代码到最终运行的完整流程如下图示：
完成步骤如下：
1、java代码通过Javac命令由java编译器编译成字节码.class文件
2、JVM的类加载器加载.class文件并解析
3、字节码完整性和合法性校验
4、字节码文件运行，实际是转换成操作系统的指令
5、调用对应的操作系统的指令实现java代码的运行
2、字节码文件格式
字节码格式固定，通常包含十个步骤，从前往后依次如下图示：
魔数(magic)：魔数是.class文件的开头，占据4个字节固定值不变，值为0xCAFEBABE，由于Java之父James Gosling定的，为Cafe Babe（咖啡宝贝），而对应了Java的标志是一杯咖啡
版本号(version): 魔数后面4个字节是Java版本号，前两个字节是次版本号；后两个字节是主版本号
常量池(constant_pool): 常量池用于存储类中的常量，前两个字节存储计数器，表示常量的个数；后面的字节依次存储常量的具体数据
访问标志(access_flag): 用于标记当前类是否被public、abstract、final、static等关键字修饰，采用位运算来存储，每一位代表一种标志
类索引(this_class)：类的全名存储在常量池中，类索引通过索引指向常量池中的地址
父类索引(super_class): 父类全名存储在常量池中，父类索引指向常量池中的地址
接口索引(interfaces): 接口索引前两个字节存储接口数量，后面依次存储各个接口对应的常量池中的地址
字段表(fields): 存储类或接口定义的静态和非静态变量，前两个字节存储字段个数，后面依次存储各个字段的详细信息
方法表(methods): 存储类或接口定义的方法，前两个字段存储方法个数，后面依次存储各个方法的详细信息
附件属性(attributes): 存放在该文件中类或接口所定义属性的基本信息
2、字节码增强
字节码增强技术就是对现有的字节码文件进行功能增强，一般方式有两种，一种是直接修改字节码文件，一种是动态创建一个新的字节码文件。
目前使用到了字节码增强技术有ASM、Javassist、AspectJ和Java Proxy等
2.1、ASM
ASM可以直接生成字节码文件，也可以动态修改字节码文件，Spring的AOP的cglib就是基于ASM实现的。
由于字节码的格式是固定的，所以ASM可以根据字节码数据结构读取对应位置的数据，然后再修改对应位置的数据即可。
ASM框架涉及的方法都和字节码指令级相关，因此对于指令不熟悉的话很难适应ASM框架。所以最好是有直接基于Java编码的方式对字节码文件进行修改，对于字节码文件的内容进行抽象，javasisst框架就是很好的选择。
2.2、javasisst
javasisst进行字节码增强时，使用者无需关心字节码的结构和指令语法，分别采用ctClass、ctMethod、ctField对类、方法和属性进行抽象，分别调用对应的方法即可完成字节码增强逻辑。
如针对方法进行增强，那么简单增强逻辑代码如下案例：
CtClass ctClass = ClassPool.getDefault().getCtClass("com.lucky.test.User"); CtMethod method = ctClass.getDeclaredMethod("getUserName"); method.insertBefore("System.out.println(\"start\")"); method.insertBefore("System.out.println(\"end\")"); Class clazz = ctClass.toClass();
ctClass.writeFile("/xxx/xxx/xxxx");
逻辑比较简单先根据全路径类名获取CtClass对象，然后根据方法名获取CtMethod对象，在调用对应的插入逻辑方法分别在对应方法前后插入增强逻辑，最好在调用CtClass的写入文件方法将当前类逻辑写入文件生成字节码文件。
2.3、动态字节码增强
ASM和Javasisst都可以创建字节码文件和修改字节码文件，对应的目标都是字节码文件。也就是说在JVM加载字节码文件之前就需要对字节码文件进行修改，而一旦JVM类加载器将目标类加载了，然后此时就无法通过修改字节码文件的方式来实现动态的字节码增强了。
所以如果想要在JVM加载字节码文件之后还进行字节码增强，就需要适应到JDK提供的Instrument。Instrument通常可以配合Javaagent一块使用。
三、Javaagent
Javaagent相当于一个插件，在JVM启动的时候可以添加 javaagent配置指定启动之前需要启动的agent jar包
这个agent包中需要有MANIFEST.MF文件必须指定Premain-Class配置，且Premain-Class配置指定的Class必须实现premain()方法
在JVM启动的时候，会从agent包中找到MAINIFEST.MF中配置的Class，执行其实现的premain方法，而且这一步是在main方法之前执行的。
这样就可以在JVM启动执行main方法之前做一些其他而外的操作了。
premain方法有两种
public static void premain(String agentArgs, Instrumentation inst){ //执行main方法之前的操作 } public static void premain(String agentArgs){ //执行main方法之前的操作 }
agent会优先执行第一个方法，如果第一个方法不存在则才会执行第二个方法。
javaagent使用的步骤主要如下：
1、新建agent项目，新建自定义agent的入口类，如下
1 public class MyAgent 2 { 3 /** 4 * 参数args是启动参数 5 * 参数inst是JVM启动时传入的Instrumentation实现 6 * */ 7 public static void premain(String args,Instrumentation inst) 8 { 9 System.out.println("premain方法会在main方法之前执行......");11 } 12 }
2、编辑MANIFEST.MF文件，内容如下：
Mainfest-version: 1.0 Premain-class: cn.lucky.test.agent.MyAgent
3、将agent项目打包成自定义的名字，如 myagent.jar
4、在目标项目启动的时候添加JVM参数
-javaagent: myagent.jar
简单的四步就实现了一个自定义的javaagent，agent的具体实现功能就看自定义的时候如何实现premain（），可以premain方法中添加任何想要在main方法执行之前的逻辑。
premain方法中有一个参数，Instrumentation，这个是才是agent实现更强大的功能都核心所在
Instrumentation接口位于jdk1.6包java.lang.instrument包下，Instrumentation指的是可以独立于应用程序之外的代理程序，可以用来监控和扩展JVM上运行的应用程序，相当于是JVM层面的AOP
功能：
监控和扩展JVM上的运行程序，替换和修改java类定义，提供一套代理机制，支持独立于JVM应用程序之外的程序以代理的方式连接和访问JVM。
比如说一个Java程序在JVM上运行，这时如果需要监控JVM的状态，除了使用JDK自带的jps等命令之外，就可以通过instrument来更直观的获取JVM的运行情况；
或者一个Java方法在JVM中执行，如果我想获取这个方法的执行时间又不想改代码，常用的做法是通过Spring的AOP来实现，而AOP通过面向切面编程，实际上编译出来的类中代码也是被改动的，而instrument是在JVM层面上直接改动java方法来实现
一、Instrumentation接口源码
源码如下：
1 public interface Instrumentation 2 { 3 //添加ClassFileTransformer 4 void addTransformer(ClassFileTransformer transformer, boolean canRetransform); 5 6 //添加ClassFileTransformer 7 void addTransformer(ClassFileTransformer transformer); 8 9 //移除ClassFileTransformer 10 boolean removeTransformer(ClassFileTransformer transformer); 11 12 //是否可以被重新定义 13 boolean isRetransformClassesSupported(); 14 15 //重新定义Class文件 16 void redefineClasses(ClassDefinition... definitions) 17 throws ClassNotFoundException, UnmodifiableClassException; 18 19 //是否可以修改Class文件 20 boolean isModifiableClass(Class<?> theClass); 21 22 //获取所有加载的Class 23 @SuppressWarnings("rawtypes") 24 Class[] getAllLoadedClasses(); 25 26 //获取指定类加载器已经初始化的类 27 @SuppressWarnings("rawtypes") 28 Class[] getInitiatedClasses(ClassLoader loader); 29 30 //获取某个对象的大小 31 long getObjectSize(Object objectToSize); 32 33 //添加指定jar包到启动类加载器检索路径 34 void appendToBootstrapClassLoaderSearch(JarFile jarfile); 35 36 //添加指定jar包到系统类加载检索路径 37 void appendToSystemClassLoaderSearch(JarFile jarfile); 38 39 //本地方法是否支持前缀 40 boolean isNativeMethodPrefixSupported(); 41 42 //设置本地方法前缀，一般用于按前缀做匹配操作 43 void setNativeMethodPrefix(ClassFileTransformer transformer, String prefix); 44 }
主要是定义了操作java类的class文件方法，这里又涉及到了ClassFileTransformer接口，这个接口的作用是改变Class文件的字节码，返回新的字节码数组，源码如下：
1 public interface ClassFileTransformer 2 { 3 4 byte[] transform(ClassLoader loader, String className, Class<?> classBeingRedefined, 5 ProtectionDomain protectionDomain, byte[] classfileBuffer) 6 throws IllegalClassFormatException; 7 }
ClassFileTransformer接口只有一个方法，就是改变指定类的Class文件，该接口没有默认实现，很显然如果需要改变Class文件的内容，需要改成什么样需要使用者自己来实现。
二、Instrumentation接口的使用案例
Instrumentation可以在带有main方法的应用程序之前运行，通过-javaagent参数来指定一个指定的jar文件（包含Instrumentation代理）来启动Instrumentation的代理程序，所以首先需要编写一个Instrumentation的代理程序，案例如下：
新建代理项目
1 public class MyAgent 2 { 3 /** 4 * 参数args是启动参数 5 * 参数inst是JVM启动时传入的Instrumentation实现 6 * */ 7 public static void premain(String args,Instrumentation inst) 8 { 9 System.out.println("premain方法会在main方法之前执行......"); 10 inst.addTransformer(new MyTransformClass()); 11 } 12 } 13 14 ------------------------------------------------------------------------ 15 public class MyTransformClass implements ClassFileTransformer 16 { 17 18 @Override 19 public byte[] transform(ClassLoader loader, String className, Class<?> classBeingRedefined, 20 ProtectionDomain protectionDomain, byte[] classfileBuffer) 21 throws IllegalClassFormatException 22 { 23 // 定义重新编译之后的字符流数组 24 byte[] newClassFileBuffer = new byte[classfileBuffer.length]; 25 String transClassName = "com.mrhu.opin.controller.TestController";//重定义指定类，也可以重定义指定package下的类，使用者自由发挥 26 if (className.equals(transClassName)) 27 { 28 System.out.println("监控到目标类,重新编辑Class文件字符流..."); 29 // TODO 对目标类的Class文件字节流进行重新编辑 30 // 对byte[]重新编译可以使用第三方工具如javassist,感兴趣的可自行研究 31 // 本文图方便，直接返回旧的字节数组 32 newClassFileBuffer = classfileBuffer; 33 } 34 return newClassFileBuffer; 35 } 36 37 }
编译打包项目为 instrumentdemo.jar，然后其他在需要被监控的项目启动参数中添加如下参数：
-javaagent:instrumentdemo.jar
然后在被监控应用程序执行main方法之前就会先执行premain方法，走instrumentation代理程序，那么在应用程序加载类的时候就会进入到自定义的ClassFileTransformer中
Instrumentation还可以添加多个代理，按照代理指定的顺序依次调用
（详细案例可以自行百度了解，本文只做理论描述）
所以Instrumentation接口相当于一个代理，当执行premain方法时，通过Instrumentation提供的API可以动态的添加管理JVM加载的Class文件，Instrumentation管理着ClassFileTransformer。
ClassFileTransformer接口可以动态的改变Class文件的字节码，在加载字节码的时候可以将字节码进行动态修改，具体实现需要自定义实现类来实现ClassFileTransformer接口
那么premain方法中的Instrumentation对象是如何传入的呢？答案是JVM传入的。
四、Instrumentation的实现原理
说起Instrumentation的原理，就不得不先提起JVMTI，全称是JVM Tool Interface顾名思义是JVM提供的工具接口，也就是JVM提供给用户的扩展接口集合。
JVMTI是基于事件驱动的，JVM每执行到一定的逻辑就会调用一些事件的回调接口，这些接口可以供开发者扩展自行的逻辑。
比如我想监听JVM加载某个类的事件，那么我们就可以实现一个回调函数赋给jvmtiEnv的回调方法集合里的ClassFileLoadHook（Class类加载事件），那么当JVM进行类加载时就会触发回调函数，我们就可以在JVM加载类的时候做一些扩展操作，
比如上面提到的更改这个类的Class文件信息来增强这个类的方法。
JVMTI运行时，一个JVMTIAgent对应一个jvmtiEnv或者是多个，JVMTIAgent是一个动态库，利用JVMTI暴露出来的接口来进行扩展。
主要有三个函数：
Agent_OnLoad方法：如果agent是在启动时加载的，那么在JVM启动过程中会执行这个agent里的Agent_OnLoad函数（通过-agentlib加载vm参数中）
Agent_OnAttach方法：如果agent不是在启动时加载的，而是attach到目标程序上，然后给对应的目标程序发送load命令来加载，则在加载过程中会调用Agent_OnAttach方法
Agent_OnUnload方法：在agent卸载时调用
我们常用的Eclipse等调试代码实际就是使用到了这个JVMTIAgent
回到主题，Instrument 就是一种 JVMTIAgent，它实现了Agent_OnLoad和Agent_OnAttach两个方法，也就是在使用时，Instrument既可以在启动时加载，也可以再运行时加动态加载
启动时加载就是在启动时添加JVM参数：-javaagent:XXXAgent.jar的方式
运行时加载是通过JVM的attach机制来实现，通过发送load命令来加载
3.1、启动时加载
Instrument agent启动时加载会实现Agent_OnLoad方法，具体实现逻辑如下：
1.创建并初始化JPLISAgent
2.监听VMInit事件，在vm初始化完成之后执行下面逻辑
a.创建Instrumentation接口的实例，也就是InstrumentationImpl对象
b.监听ClassFileLoadHook事件（类加载事件）
c.调用InstrumentationImpl类的loadClassAndCallPremain方法，这个方法会调用javaagent的jar包中里的MANIFEST.MF里指定的Premain-Class类的premain方法
3.解析MANIFEST.MF里的参数，并根据这些参数来设置JPLISAgent里的内容
3.2、运行时加载
Instrument agent运行时加载会使用Agent_OnAttach方法，会通过JVM的attach机制来请求目标JVM加载对应的agent，过程如下
1.创建并初始化JPLISAgent
2.解析javaagent里的MANIFEST.MF里的参数
3.创建InstrumentationImpl对象
4.监听ClassFileLoadHook事件
5.调用InstrumentationImpl类的loadClassAndCallPremain方法，这个方法会调用javaagent的jar包中里的MANIFEST.MF里指定的Premain-Class类的premain方法
3.3、ClassFileLoadHook回调实现
启动时加载和运行时加载都是监听同一个jvmti事件那就是ClassFileLoadHook，这个是类加载的事件，在读取类文件字节码之后回调用的，这样就可以对字节码进行修改操作。
在JVM加载类文件时，执行回调，加载Instrument agent，创建Instrumentation接口的实例并且执行premain方法，premain方法中注册自定义的ClassFileTransformer来对字节码文件进行操作，这个就是在加载时进行字节码增强的过程。
那么如果java类已经加载完成了，在运行的过程中需要进行字节码增强的时候还可以使用Instrumentation接口的redifineClasses方法，有兴趣的可以自行研究源码，这里只描述大致过程。
通过执行该方法，在JVM中相当于是创建了一个VM_RedifineClasses的VM_Operation，此时会stop_the_world，具体的执行过程如下：
挨个遍历要批量重定义的 jvmtiClassDefinition 然后读取新的字节码，如果有关注 ClassFileLoadHook 事件的，还会走对应的 transform 来对新的字节码再做修改 字节码解析好，创建一个 klassOop 对象 对比新老类，并要求如下： 父类是同一个 实现的接口数也要相同，并且是相同的接口 类访问符必须一致 字段数和字段名要一致 新增的方法必须是 private static/final 的 可以删除修改方法 对新类做字节码校验 合并新老类的常量池 如果老类上有断点，那都清除掉 对老类做 JIT 去优化 对新老方法匹配的方法的 jmethodId 做更新，将老的 jmethodId 更新到新的 method 上 新类的常量池的 holer 指向老的类 将新类和老类的一些属性做交换，比如常量池，methods，内部类 初始化新的 vtable 和 itable 交换 annotation 的 method、field、paramenter 遍历所有当前类的子类，修改他们的 vtable 及 itable
上面是基本的过程，总的来说就是只更新了类里的内容，相当于只更新了指针指向的内容，并没有更新指针，避免了遍历大量已有类对象对它们进行更新所带来的开销。
另外还可以通过retransform来进行回滚操作，可以回滚到字节码之前的版本。
------------------------------------------------------------
总结：
1. Instrumentation相当于一个JVM级别的AOP
2.Instrumentation在JVM启动的时候监听事件，如类加载事件，JVM触发来指定的事件通过回调通知，并创建一个 Instrumentation接口的实例，然后找到MANIFEST.MF中配置的实现了premain方法的Class
然后将Instrumentation实例传入premain方法中
3.premain方法会在main方法之前执行，可以添加ClassFileTransfer来实现对Class文件字节码的动态修改（并不会修改Class文件中的字节码，而是修改已经被JVM加载的字节码）
4.修改字节码的技术可以使用开源的 ASM、javassist、byteBuddy等
执行premain方法是通过在JVM启动的时候实现的动态代理，那么如果想要在JVM的运行过程中实现这个功能该如何实现呢？这就需要使用JVM的attach机制
JVM提供了一种attach机制，简单点说就是可以通过一个JVM来操作、查询另一个JVM中的数据，比如最常用的jmap、jstack等命令就是通过attach机制实现的。
当需要dump一个JVM进程中的堆信息时，此时就可以通过开启另一个JVM进程，如何通过这个JVM进程来和目标JVM进程进行通信，执行想要执行的命令或者查询想要的数据
Attach 实现的根本原理就是使用了 Linux 下是文件 Socket 通信（详情可以自行百度或 Google）。有人也许会问，为什么要采用文件 socket 而不采用网络 socket？我个人认为也许一方面是为了效率（避免了网络协议的解析、数据包的封装和解封装等），另一方面是为了减少对系统资源的占用（如网络端口占用）。采用文件 socket 通信，就好比两个进程通过事先约定好的协议，对同一个文件进行读写操作，以达到信息的交互和共享。
五、JVM的Attach机制
JDK1.6之后提供了attach机制，工具类都处于com.sun.tools.attach包下，可以通过VirtualMachine.attach方法attach到指定JVM进程上，然后获取到指定JVM的虚拟机对象VirtualMachine。代码如下：
1 VirtualMachine virtualMachine = VirtualMachine.attach("pid");
JVM进程有两个用于attach机制的线程，一个Signal Dispatcher线程，用于处理信号；一个Attach Listener线程，用于JVM进程之间的通信，可以通过配置启动参数java -XX:+StartAttachListener mainClass开启Attach Listener线程。
另外如果一个JVM被其他进程attach，那么该JVM的Signal Dispatcher线程会处理信号并启动Attach Listener线程。
Attach Listener线程启动之后，会创建监听socket，并创建了一个文件/tmp/.java_pid，这个就是LinuxVirtualMachine构造函数中一直尝试获取的socketFile。随着这个socketFile创建，也就意味着客户端那边的attach成功了。之后客户端和目标JVM进程就通过这个socketFile进行通信。客户端可以通过这个socketFile发送相关命令。Attach Listener线程做的事情就是监听这个socketFile，发现有请求就解析，然后根据命令执行不同的方法，最后将结果返回。
通过Attach机制，就可以很好的实现JDK自带的jstack、jmap等命令
