转自:http://www.cppblog.com/pwq1989/archive/2013/11/28/204487.html
大家可以从官网下载到源码(http://luajit.org/),也可以从Github(https://github.com/LuaDist/luajit)down下来,顺便还可以看下commit记录。
大家对着luajit的wiki结合源码看的话会更好些,因为。。文档太特么少了!!
目录结构:
-- src
-- host
-- jit
*.c
*.h
*.dasc
等等,别的不是很重要
最开始我是从main函数开始看的,然后。。碰了一鼻子灰,后来研究下他的makefile,发现他是这样子的编译的,贴一下关键的msvcbuild.bat的代码(这个更容易看懂)
:X64 minilua %DASM% -LN %DASMFLAGS% -o host\buildvm_arch.h vm_x86.dasc @if errorlevel 1 goto :BAD %LJCOMPILE% /I "." /I %DASMDIR% host\buildvm*.c @if errorlevel 1 goto :BAD %LJLINK% /out:buildvm.exe buildvm*.obj @if errorlevel 1 goto :BAD if exist buildvm.exe.manifest^ %LJMT% -manifest buildvm.exe.manifest -outputresource:buildvm.exe buildvm -m peobj -o lj_vm.obj @if errorlevel 1 goto :BAD buildvm -m bcdef -o lj_bcdef.h %ALL_LIB% @if errorlevel 1 goto :BAD buildvm -m ffdef -o lj_ffdef.h %ALL_LIB% @if errorlevel 1 goto :BAD buildvm -m libdef -o lj_libdef.h %ALL_LIB% @if errorlevel 1 goto :BAD buildvm -m recdef -o lj_recdef.h %ALL_LIB% @if errorlevel 1 goto :BAD buildvm -m vmdef -o jit\vmdef.lua %ALL_LIB% @if errorlevel 1 goto :BAD buildvm -m folddef -o lj_folddef.h lj_opt_fold.c @if errorlevel 1 goto :BAD
先创建了一个buildvm.exe的中间工具,来自动生成代码,分别生成了lj_vm.obj,lj_bcdef.h,lj_ffdef.h ,lj_recdef.h ,jit\vmdef.lua,lj_folddef.h, lj_libdef.h
其中lv_vm.obj是依赖于host\buildvm_arch.h的,这个是用DynASM预处理vm_x86.dasc生成的,这个工具的具体分析会在下一篇博客提及。
先来看下上面自动生成的代码:
lj_bcdef.h:
LJ_DATADEF const uint16_t lj_bc_ofs[] = { 0, 71, 142, 213, 284, }; LJ_DATADEF const uint16_t lj_bc_mode[] = { BCDEF(BCMODE) BCMODE_FF, BCMODE_FF, BCMODE_FF, BCMODE_FF, BCMODE_FF, };
lj_bc_ofs[]可能是bc在vm代码段中的偏移量(这个我还没深入进去调试一下),vm的一部分是用DynASM直接撸汇编撸出来的,wiki中也有提到下一步jit化的opcode等等。
#define BCMODE(name, ma, mb, mc, mm) \ (BCM##ma|(BCM##mb<<3)|(BCM##mc<<7)|(MM_##mm<<11)), #define BCMODE_FF 0 #define BCDEF(_) \ /* Comparison ops. ORDER OPR. */ \ _(ISLT, var, ___, var, lt) \ _(ISGE, var, ___, var, lt) \ _(ISLE, var, ___, var, le) \ _(ISGT, var, ___, var, le) \ ...
lj_ffdef.h:
FFDEF(assert) FFDEF(type) FFDEF(next) FFDEF(pairs) FFDEF(ipairs_aux)
...
FFDEF的定义是在
/* Fast function ID. */ typedef enum { FF_LUA_ = FF_LUA, /* Lua function (must be 0). */ FF_C_ = FF_C, /* Regular C function (must be 1). */ #define FFDEF(name) FF_##name, #include "lj_ffdef.h" FF__MAX } FastFunc;
差不多就是用FF_##name把上面的名字拼接起来,然后生成在enum里面,这样就能当成是数字,在数组中迅速找到入口了
vmdef.lua:
这个里面内容就不贴了,包括bcname,irname,irfpm,irfield,ircall 的定义,在jit文件夹下面,用于调试等,比如在dump.lua中就有用到
local jit = require("jit") assert(jit.version_num == 20002, "LuaJIT core/library version mismatch") local jutil = require("jit.util") local vmdef = require("jit.vmdef") // ← ← ← ←
当你用luajit -jdump的时候,就是调用的lua的jit库里面的lua函数
lj_recdef.h:
static const uint16_t recff_idmap[] = { 0, 0x0100, 0x0200, 0x0300, 0, 0, 0x0400, }; static const RecordFunc recff_func[] = { recff_nyi, recff_c, recff_assert, recff_type, recff_ipairs_aux, };
其中recff_func[]是被注册的被traced jit 跟踪的函数,具体可是在lj_ffrecord.c里面看到
recff_idmap[]被用在lj_ffrecord_func这个函数中,有一个关键的数据结构RecordFFData,用来记录在trace过程中被调用函数的参数和返回值个数,和一些辅助数据,opcode,literal等等。通过recff_idmap[]保存的值来区分函数(待仔细研究)
lj_folddef.h:
static const FoldFunc fold_func[] = { fold_kfold_numarith, fold_kfold_ldexp, fold_kfold_fpmath, fold_kfold_numpow, }; static const uint32_t fold_hash[916] = { 0xffffffff, 0xffffffff, 0x5b4c8016, };
用在FOLD optimization中,见lj_opt_fold.c,主要在
if ((fh & 0xffffff) == k || (fh = fold_hash[h+1], (fh & 0xffffff) == k)) { ref = (IRRef)tref_ref(fold_func[fh >> 24](J)); if (ref != NEXTFOLD) break; }
是根据数组偏移获取函数,直接执行。
(这个Optimation略复杂,以后的博文中再说)
----------------------------------------分割线-------------------------------------------
以上就是buildvm生成代码,在很多.c的文件中,他加入了一些无意义的MARCO,目的是为了能被buildvm识别出
下面说说src根目录下面的文件:
lauxlib.h:
用户开发扩展和与C交互的时候的头文件
lib_*.h /.c:
顾名思义,就是利用LuaAPI写的内部标准库,会在方法上表明是否会被trace ( LJLIB_REC(.) )。
ljamalg.c:
文件的合并
lj_alloc.h /.c:
定制的Memory Allocator
lj_api.c:
lj_arch.h:
lj_jit.h:
jit编译器里面数据结构的定义
lj_asm.h/ .c lj_asm_*.c lj_emit_*.h lj_target_*.h/.c :
将IR编译成Machine Code,关键的数据结构ASMState,线性扫描的O(n2)分配算法
lj_bc.h/ .c:
Luajit字节码的定义和内存布局
lj_bcdump.c lj_bcread.c lj_bcwrite.c:
围绕着字节码的操作
lj_carith.c:
lj_ccall.h/ .c lj_ccallback.h / .c :
FFI C语言函数调用和回调绑定
lj_debug.h/.c :
调试与自省用
lj_def.h:
这个很重要,重要的类型和一些宏定义在这里
lj_c*.h/ .c:
和C语言先关的,比如类型转化,char管理,数据管理
lj_frame.h:
Luajit的栈帧管理
lj_func.h/.c:
Function handle和闭包有关的upvalue数据结构
lj_gc.h/.c:
GC相关,GC可以看下luajit的wiki,里面涉及不少增量式GC的paper和作者的看法
lj_gdbjit.h/.c :
对gdb的支持
lj_ir*.h/.c:
SSA,IR相关(这个和bytecode还是不一样的)操作和优化
lj_lex.h/.c lj_parse.h/.c:
lexer和parser
lj_mcode.h/.c:
Machine Code管理
lj_opt_*.h:
各种bytecode层面上的优化
lj_snap.h/.c:
快照支持
lj_state.h/.c:
LuaState和Stack的操作
lj_str*.h/.c lj_tab.h/.c:
原生类型string和table操作
lj_udata.h/.c:
类型user data的操作
lj_vm.h/.c lj_vmevent.h/.c:
vm的API和事件注册(lj_vmevent_send)
lj_vmmath.h/.c:
对vm支持的math库
lua.h:
luaState等基本的Lua结构
lualib.h:
和Lua一样,标准库的API
luajit.h:
luajit 的public API
vm_*.dasc:
编译期被DynASM预处理的源文件,下一篇讲DynASM时候介绍dasc文件
wmain.c:
windows下面的main入口
和Trace相关的:
lj_crecord.h/.c : C操作的trace record
lj_dispatch.h/.c : 指令分发,调用ASMFuction,处理指令前的hook和记录trace用的hot count,有一个重要的数据结构 GG_State
lj_ff*.h/.c: 上面讲lj_ffdef.h的时候提过,trace的时候 记录Fast Function的调用记数
lj_trace.h/.c: trace的具体过程
lj_traceerr.h : trace error