深入解析JAVA的Class文件

                        **   深入解析JAVA-Class文件**

我们都知道,计算机只认识1和0,所以我们写的程序需要经过编译器翻译为1和0的二进制格式才能被计算机执行。这么多年过去 了，计算机仍然只能识别1和0，但由于最近这些年来,虚拟机以及大量建立在虚拟机之上的程序语言如雨后春笋般出现,将我们编写的程序编译为二进制本地机器码(Native code)已不再是唯一的选择,越来越多的的程序语言选择了与操作系统和机器指令集无关的,平台中立的格式作为程序编译后的存储格式。各种不同平台的虚拟机与所有平台都统一使用的程序存储格式-字节码(ByteCode)是构成平台无关性的基石。
实现语言无关性的基础仍然是虚拟机和字节码存储格式。Java虚拟机不和包括Java在内的的任何语言绑定,它只与”Class文件”这种特定的二进制文件格式关联，Class文件中包含了JAVA虚拟机指令集和符号表以及若干其他辅助信息。基于安全的考虑,Java虚拟机规范要求在Class文件中使用许多强制性的语法和结构化约束,但任何一门功能性语言都可以表示为一个能被Java虚拟机所接受的有效Class文件。但作为一个通用的、机器无关的执行平台,任何其他语言的实现者都可以将Java虚拟机作为语言的产品交付媒介。例如,使用Java编译器可以把Java代码编译为存储字节码的Class文件,使用JRuby等其他语言的编译器一样可以把程序代码编译为Class文件,虚拟机并不关心Class的来源是何种语言。如图所示:

Java语言中的各种变量、关键字和各种运算符号的语义最终都是由多条字节码命令组合而成的,因此字节码命令所能提供的语义描述能力可能会比Java语言本身更加强大。因此,有一些Java语言本身无法有效支持的语言特性不代表字节码本身无法有效支持,这也为其他语言实现一些有别于Java的语言特性提供了基础。
下面,我将介绍Class文件的内容和相应的解析,(其中我们应该注意的是:任何一个Class文件都对应着唯一一个类或接口的的定义信息,但反过来说,类或接口并不一定都得定义在文件里(例如,类或接口也可以通过类加载器直接生成))
Class文件是以一组8位字节为基础单位的二进制流,各个数据项目严格按照顺序紧凑地排列在Class文件之中,中间没有添加任何分隔符,这使得整个Class文件中存储的内容几乎全部都是程序运行的必要数据,没有空隙存在。当遇到需要占用8位字节以上的空间的数据项时,则会按照高位在前的方式分割成若干个8位字节进行存储。根据JAVA虚拟机的规定,Class文件格式采用一种类似于C语言结构体的伪结构来存储数据,这种伪结构中只有两种数据类型:无符号和表,后面的解析都要以这两种数据类型为基础,所以这里先介绍这两个概念。
无符号数属于基本的数据类型,用u1,u2,u4,u8来分别代表1字节,2字节,4字节和8个字节的无符号数,无符号数可以用来描述数字，索引引用，数量值或者按照UTF-8编码构成字符串值
表是由多个无符号数或者其他表作为数据项构成的复合数据类型,所有表都习惯的以”_info”结尾。表用于描述层次关系的复合结构的数据,整个Class文件本质上就是一张表,它由下图的数据项构成：

无论是无符号数还是表,当需要描述同一类型但数量不定的多个数据时,经常会使用一个前置的容量计数器加若干个连续的数据项的形式,这时称这一系列连续的某一类型的数据为某一类型的集合。
在最后,需要强调的是,Class文件的结构不像XML等描述语言,由于它没有任何分隔符号,所以在上表中的数据项,无论顺序还是数量,甚至于数据存储的字节序这样的细节,都是被严格限定的,哪个字节代表什么含义,长度是多少,先后顺序如何,都不允许改变。接下来我们一起看看这个表中各个数据的具体含义是什么!
为了使读者更加容易理解,用以下代码编译而成的字节码来介绍上述表中每种类型的具体含义:
代码如下:

package com.example.test;

public class TestClass {
private int m;
public int inc(){

return m+1;
}
}//很简单的一串代码，它的字节码是怎样的呢?请往下看

在这里,我使用十六进制的编辑器WinHex打开这个TestClass.class文件。 如图:

1.由Class文件排列顺序表可知,每个Class文件的头4个字节成为魔数,它的唯一作用是确定这个文件是否为一个能被虚拟机接受的Class文件。很多文件存储标准中都使用魔数来进行身份识别,譬如图片格式gif或者jpeg等在文件头中都有魔数。使用魔数而不是使用扩展名来进行识别主要是为了来安全考虑,因为文件扩展名可以随意改变,文件格式的制定者可以*的选择魔数值,只要这个值没被采用过同时又不会引起混淆即可。Class文件的魔数值很有烂漫气息,值为oxCAFEBABE(咖啡宝贝)。

2.紧接着魔数的后四个字节存储的是Class文件的版本号:第5和第6字节是次版本号(minor version),第7和8字节是主版本号(major version)。Java的版本是从45开始的，JDK1.1之后的每个JDK大版本发布，主版本号向上+1(JAK1.0-1.1使用了45.0和45.3的版本号)高版本的JDK能往下兼容以前版本的Class文件,但不能运行以后版本的Class文件,即使文件格式并未发生变化,虚拟机也必须拒绝超过其版本号的Class文件。例如,JDK1.1能支持版本号为45.0~45.65535的Class文件,无法执行版本号为46.0以上的Class文件。现在，最新的JDK版本为1.8,可生成的主版本号的最大值为52，下图是Class文件的版本号:

3.常量池。紧接着主次版本号之后的是常量池入口,常量池可理解为Class文件之中的资源仓库,它是Class文件结构中与其他项目关联最多的数据类型,也是Class文件空间最大的数据项目之一，同时它还是在Class文件中第一个出现的表类型数据项目。由于常量池的数量是不固定的,因此在常量池的入口需要放置一项u2类型的数据,代表常量池容量计数值(constant_pool_count).。与Java中语言习惯不一样的是,这个容量计数是从1开始的,而不是0开始的,如下图所示,常量池容量位十六进制ox0016,即十进制的22,这就代表常量池中有21项常量,索引范围为1~21。在Class文件格式规范制定之时,设计者将第0项常量空出来是有特殊考虑的,这样做的目的在于满足后面某些指向常量池的索引值的数据在特定情况下需要表达”不引用任何一个常量池的项目”的含义,这种情况就可以把索引值置为0来表示。Class文件结构中只有常量池的容量计数是从1开始的，对于其他集合类型,包括接口索引集合,字段表集合,方法表集合等的容量计数都与一般习惯相同,从0开始。

常量池主要存放两大类常量:字面常量(Literal)和符号引用(Symbolic References)。字面量比较接近于Java语言层面的常量概念,如文本字符串,声明为final的常量值等。而符号引用则属于编译原理方面的概念,包括了下面三类常量:
(1)类和接口的全限定名(Fully Qualified Name)
(2)字段的名称和描述符(Descriptor)
(3)方法的名称和描述符
Java代码在进行Javac编译的时候,并不像C、C++那样有”链接”这一步骤,而是在虚拟机加载Class文件的时候进行动态连接。也就是说,在Class文件中不会保存各个方法,字段的最终内存布局信息,因此这些这些字段、方法不经过运行期转换的话无法得到真正的内存入口地址，也就无法直接被虚拟机使用。当虚拟机运行时，需要从常量池获得对应的符号引用,再在类创建或运行时解析,翻译到具体的内存地址之中。常量池中每一项常量都是一个表,在JDK1.7后，一共有14种表,这14种表都有一个共同的特点,就是表开始的第一位是一个u1类型的标志位(tag,取值如下)

常量池是最繁琐的数据，因为这14种常量类型均有各自的结构。回头看Class文件中常量池第一个常量为ox07,查表可知对应的是CONSTANT_Class_info类型，此常量代表类或接口的符号引用,CONSTANT_Class_info的结构简单,如下图:

tag是标志位，上面讲过,它用于区分常量类型;name_index是一个索引值,它指向常量池中一个CONSTANT_Utf8_info类型常量,此常量代表了这个类(或者接口)的全限定名,这么name_index值为ox0002,也即是指向了常量池中的第二项常量。

继续从上表中找第二个常量,它的标志位为ox01,由常量池的项目类型表中可知，是一个CONSTANT_Utf8_info类型的常量。CONSTANT_Utf8_info类型常量的结构如下:

length值说明了这个Utf-8编码的字符串长度是多少字节,它后面紧跟着的长度为length字节的连续数据是一个使用Utf-8缩略编码表示的字符串。
由于Class文件中方法，字段都需要引用CONSTANT_Utf8_info型常量来描述名称,所以CONSTANT_Utf8_info型常量的最大长度就是Java中方法,字段名的最大长度,即2^16=65535，所以Java程序中如果定义了超过64kb英文字符的变量或者方法名，将无法编译。
本例中这个字符串的length值为ox001A,转换为十进制为26，所以为26个字节,即为”com/example/test/TestClass”,感兴趣可以字节逐个字节换算一下，换算结果如下:

目前为止,介绍了两个常量,剩下的常量可以按照一样的方法分析出来，就不一一分析了,我们可以借助JDK的专门分析Class文件字节码的工具,javap,代码清单如下,-verbose参数表示输出TestClass文件字节码的内容。(在Dos窗口进入到类中bin文件中)


(这只截了常量池的部分，剩下部分稍后再说，可以看到一共21个常量，从1开始的)
可以看到第1和2常量和我们计算的都一致,但是我们看到有些常量在代码中没出现过,如”I”,””,”LineNumberTable”,”LocalVariableTable”等，这些常量从哪里来的呢?
这些常量的确没出现在代码中，但它们会被后面即将讲到的字段表(field_info),方法表(method_info),属性表(attribute_info)引用到，他们会用来描述一些不方便使用”固定字节”进行表达的内容。譬如方法的返回值是什么?有几个参数,每个参数的类型是什么?因为Java中”类”是去无穷无尽的，无法通过简单的无符号数来描述一个方法用了哪些类,因此在描述这些信息时,需要引用常量表中的符号引用进行表达。在之后会阐述,下面是14中常量项的结构，如图:



4.在常量池结束之后,紧跟着的两个字节代表访问标志(access_flag),这个标志用来识别一些类或接口层次的访问信息,包括,这个Class是类还是接口;是否定义为public类型;是否定义为abstracl类型;若是类,是否定义为final等.具体的标志位见下表:

access_flag中一共有16个标志位可以使用,当前只定义了其中8个,没有使用到的标志位一律要求为0,以最初的那段Java代码为例,TestClass是一个普通的Java类,不是接口,枚举或者注解,被public关键字修饰但没被声明为final和abstrac,并且它使用了JDK1.2之后的编译器进行编译,因此它的ACC_PUBLIC,ACC_SUPER标记应当为真,而ACC_FINAL,ACC_INTERFACE,ACC_ABSTRAC,ACC_SYNTHETIC,ACC_ANNOTATION,ACC_ENUM这6个标记应当为假,因此它的值为ox0001|ox0020=ox0021。从下图可以看出,access_flag标志的确为ox0021

5.在标志位之后,就是类索引,父类索引和接口索引集合
类索引(this_class)和 父类索引(super_class)都是一个u2类型的数据,而接口索引集合(interfaces)是一组u2类型的数据的集合,Class文件中由这三项数据来确定这个类的继承关系。类索引用于确定这个类的全限定名,父类索引用于确定这个类的的父亲的全限定名。由于Java不允许多重继承,所以父类索引只有一个,除了java.lang.object以外,所有Java类的父类索引都不为0.接口索引集合用来描述这个类实现了哪些接口,这些被实现的接口将按照implements语句(如果这个类本身是一个接口,则应当是extends语句)后的接口顺序从左到右排列在接口索引集合中。
类索引，父类索引和接口索引集合都按顺序排列在访问标志之后,类索引，父类索引都用一个u2类型的索引值来表示,它们各自指向一个类型为CONSTANT_Class_info的类描述符常量,通过CONSTANT_Class_info类型的常量中的索引值可以找到定义在CONSTANT_Utf8_info类型的常量中的全限定名字符串。
对于接口索引集合,入口的第一项—u2类型的数据为接口计数器(interface_count),表示索引表的容量。如果该类没有实现任何接口,则计数器值为0,后面接口的索引表不在占用任何字节。

类索引为1，父类索引3,接口索引0，查询常量池对应的常量如下:

6.字段表集合
字段表(field_info)用于描述接口或类中声明的变量。字段(field)包括类级变量以及实例变量，但不包括在方法内部声明的局部变量。在Java中描述一个字段可以用的信息如下:字段的作用域(public,private,protected修饰符),是实例变量还是类变量(static修饰符),可变性(final),并发可见性(volatile修饰符,是否强制从主内存读写)，可否被序列化(transient修饰符)，字段数据类型(基本类型,对象,数组)，字段名称。上述这些信息中,各个修饰符都是布尔值,要么有某个修饰符,要么没有,很适合用标志位来实现。而字段叫什么名字,字段被定位什么数据类型,这些都无法固定,只能引用常量池中的常量来描述,下表列出了字段表的最终格式:


很明显，ACC_PUBLIC,ACC_PRIVATE,ACC_PROTECTED，只能有一个,ACC_FINAL,ACC_VOLATILE不能同时选择,跟着access_flag标志的是两项索引值,name_index和description_index。它们都是对常量池的引用,分别代表着字段的简单名称以及字段和方法的描述符。描述符的作用是用来描述字段的数据类型，方法的参数列表(数量,类型以及顺序)和返回值。根据描述规则,基本数据类型以及代表无返回值的void类型都用一个大写字符来表示,而对象类型则用字符L加对象的全限定名来表示，如下表:

对于数组类型,每一维度将使用一个前置的”[“字符来描述,如定义为”java.lang.String[][]”类型的二维数组,将被记录为:”[[Ljava/lang/String”,一个整形数组”int[]”将被记录为”[I”。
用描述符来来描述方法时,按照先参数列表,后返回值的顺序描述,参数列表按照参数的严格顺序放在一组小括号”()”之内。如方法void inc()的描述符为”()V”,方法”java.lang.String.toString()”的描述符为”()Ljava/lang/String”,方法”int indexOf(char[]source,int sourceOffset,int sourceCount,char[]target,int targetCount,int fromIndex)”的描述符为”([CII[CIII)I”

上图中,第一个u2的值为ox0001，代表field_count，说明这个类只有一个字段表数据,access_flag的值为ox0002，代表private修饰符的ACC_PRIVATE标志位为真，其他修饰符为假。name_index的值为ox0005，从常量池查出第五个常量为”m”,description_index的值为ox0006，指向常量池的”I”。根据这些信息，我们可知代码为”private int m;”。在description_index之后是属性表集合,用于存储一些额外的信息,字段都可以在属性表中描述额外的信息,对象本例的字段m，它的属性表计数器为0,表示为ox0000，没有额外描述的信息，但是，若将字段m改为”final static int m=123”,则会存在一项名称为ConstantValue的属性，其值指向常量123。
7，方法表集合
方法表和字段表是一样的格式,如下():

因为volatile关键字和transient关键字不能修饰方法，所以方法访问标记没有这两个，但多了synchronized,native，strictfp和abstrac关键字可以修饰方法，所以访问标记增加了ACC_SYNCHRONIZED,ACC_NATIVE,ACC_STRICTFP,ACC_ABSTRAC标记。如图:

方法的定义可以通过访问标志,名称索引，描述符索引表达清楚,方法里面的代码经过编译器编译成字节后,存放在方法属性表中一个名为”Code”的属性里面。

第一个u2类型为ox0002,代表集合有2个方法(一个构造器方法，一个inc()方法)，第一个方法的访问标记为ox0001，只有public为真，其余为假,名称索引为ox0007,由常量池可知，为””,描述符为ox0008，对应常量”()V”,属性计数器为ox0001,表示此方法有一项属性,属性的索引值为0x0009，对应常量”Code”,说明此属性是方法的字节码描述。
8.属性表集合
属性表咋Class文件，字段表，方法表都可以携带自己的属性表集合,以用于描述某些场景专有的信息。如下图:


一个符合规则的属性表应该满足以下结构:


(1)Attribute_name_indexs是一个指向常量池的索引，为”Code”
(2)Attribute_length指示了属性值的长度，由于属性名称和属性长度共6个字节,所以属性值得长度固定为整个属性表长度减去6个字节。
(3)max_stack代表了操作数栈深度的最大值
(4)max_locals代表了局部变量所需要的存储空间。单位为Slot(是虚拟机为局部变量分配内存所使用的最小单位)。对于byte,char,int,short,boolean和returnAddress等长度不超过32位的数据类型,每个局部变量占用一个Slot,而double和long这两种64位的数据类型则需要2个slot来存放。
(5)code_length和code用来存储Java源程序编译后生成的字节码指令。code_length代表字节码长度,code是用于存储字节码指令的一系列字节流。每个字节码就是一个u1类型的单字节,当虚拟机读到code的一个字节码时,就可以找到这个字节码代表什么指令,并且知道这个指令后面是否需要跟参数,以及参数如何理解。(code_length释然是4个字节，但是实际上只使用了两个字节,虚拟机明确限制了一个方法不允许超过65535条字节码指令)

上面的code部分是关键部分,代码执行过程就是按照2A->B7->00->0A->B1的顺序来执行的，每个指令在虚拟机都有明确的含义，感兴趣可以查 虚拟机字节码指令表

(后面的字节就是那些异常处理表和各种属性的表示，就不一一分析了，感兴趣可以查看深入理解Java虚拟机(周志明)这本书)