CoreCLR源码探索(五) GC内存收集器的内部实现 调试篇
在上一篇中我分析了CoreCLR中GC的内部处理，
在这一篇我将使用LLDB实际跟踪CoreCLR中GC，关于如何使用LLDB调试CoreCLR的介绍可以看:
源代码
本篇跟踪程序的源代码如下:
using System;
using System.Runtime.InteropServices;
namespace ConsoleApplication
{
public class Program
{
public class ClassA { }
public class ClassB { }
public class ClassC { }
public static void Main(string[] args)
{
var a = new ClassA();
{ var b = new ClassB(); }
var c = new ClassC();
GCHandle handle = GCHandle.Alloc(c, GCHandleType.Pinned);
IntPtr address = handle.AddrOfPinnedObject();
Console.WriteLine((long)address);
GC.Collect();
Console.WriteLine("first collect completed");
c = null;
GC.Collect();
Console.WriteLine("second collect completed");
GC.Collect();
Console.WriteLine("third collect completed");
}
}
}
准备调试
环境和我的第三篇文章一样，都是ubuntu 16.04 LTS，首先需要发布程序:
dotnet publish
发布程序后，把自己编译的coreclr文件覆盖到发布目录中:
复制coreclr/bin/Product/Linux.x64.Debug下的文件到程序目录/bin/Debug/netcoreapp1.1/ubuntu.16.04-x64/publish下。
请不要设置开启服务器GC，一来是这篇文章分析的是工作站GC的处理，二来开启服务器GC很容易导致调试时死锁。
进入调试
准备工作完成以后就可以进入调试了
cd 程序目录/bin/Debug/netcoreapp1.1/ubuntu.16.04-x64/publish
lldb-3.6 程序名称
首先设置gc主函数的断点，然后运行程序
b gc1
r
我们停在了gc1函数，现在可以用bt来看调用来源
这次是手动触发GC，调用来源中包含了GCInterface::Collect和JIT生成的函数
需要显示当前的本地变量可以用fr v，需要打印变量或者表达式可以用p
现在用n来步过，用s来步进继续跟踪代码
进入标记阶段
在上图的位置中用s命令即可进入mark_phase，继续步过到下图的位置
这时先让我们看下堆中的对象，加载CoreCLR提供的LLDB插件
plugin load libsosplugin.so
插件提供的命令可以查看这里的文档
执行dumpheap查看堆中的状态
执行dso查看堆和寄存器中引用的对象
执行dumpobj查看对象的信息
在这一轮gc中对象a b c都会存活下来，
可能你会对为什么b能存活下来感到惊讶，对象b的引用分配在栈上，即时生命周期过了也不一定会失效(rsp不会移回去)
br s -n Promote -c "(long)*ppObject == 0x00007fff5c01a2b8" # -n 名称 -c 条件
c # 继续执行
接下来步进mark_object_simple函数，然后步进gc_mark1函数
me re -s8 -c3 -fx o # 显示地址中的内存，8个字节一组，3组，hex格式，地址是o
p ((CObjectHeader*)o)->IsMarked() # 显示对象是否标记存活
我们可以清楚的看到标记对象存活设置了MethodTable的指针|= 1
现在给PinObject下断点
br s -n PinObject -c "(long)*pObjRef == 0x00007fff5c01a1a0"
c
可以看到只是调用Promote然后传入GC_CALL_PINNED
继续步进到if (flags & GC_CALL_PINNED)下的pin_object
可以看到pinned标记设置在同步索引块中
进入计划阶段
进入计划阶段后首先打印一下各个代的状态
p generation_table
使用这个命令可以看到gen 0 ~ gen 3的状态，最后一个元素是空元素不用在意
继续步过下去到下图的这一段
在这里我们找到了一个plug的开始，然后枚举已标记的对象，下图是擦除marked和pinned标记的代码
在这里我们找到了一个plug的结束
如果是Full GC或者不升代，在处理第一个plug之前就会设置gen 2的计划代边界
模拟压缩的地址
如果x越过原来的gen 0的边界，设置gen 1的计划代边界(原gen 1的对象变gen 2)，
如果不升代这里也会设置gen 0的计划代边界
模拟压缩后把原地址与压缩到的地址的偏移值存到plug信息(plug前的一块内存)中
构建plug树
设置brick表，这个plug树跨了6个brick
如果升代，模拟压缩全部完成后设置gen 0的计划代边界
接下来如果不动里面的变量，将会进入清扫阶段(不满足进入压缩阶段的条件)
进入清扫阶段
这次为了观察对象c如何被清扫，我们进入第二次gc的make_free_lists
b make_free_lists
c
处理当前brick中的plug树
前面看到的对象c的地址是0x00007fff5c01a2e8，这里我们就看对象c后面的plug是如何处理的
br s -f gc.cpp -l 23070 -c "(long)tree > 0x00007fff5c01a2e8"
c
我们可以看到plug 0x00007fff5c01a300前面的空余空间中包含了对象c，空余空间的开始地址就是对象c
接下来就是在这片空余空间中创建free object和加到free list了，
这里的大小不足(< min_free_list)所以只会创建free object不会加到free list中
设置代边界，之前计划阶段模拟的计划代边界不会被使用
清扫阶段完成后这次的gc的主要工作就完成了，接下来让我们看重定位阶段和压缩阶段
进入重定位阶段
使用上面的程序让计划阶段选择压缩，需要修改变量，这里重新运行程序并使用以下命令
b gc.cpp:22489
c
expr should_compact = true
n步过到下图的位置，s步进到relocate_phase函数
到这个位置可以看到用了和标记阶段一样的GcScanRoots函数，但是传入的不是Promote而是Relocate函数
接下来下断点进入Relocate函数
b Relocate
c
GCHeap::Relocate函数不会重定位子对象，只是用来重定位来源于根对象的引用
一直走到这个位置然后进入gc_heap::relocate_address函数
根据原地址和brick table找到对应的plug树
搜索plug树中old_address所属的plug
根据plug中的reloc修改指针地址
现在再来看relocate_survivors函数，这个函数用于重定位存活下来的对象中的引用
b relocate_survivors
c
接下来会枚举并处理brick，走到这里进入relocate_survivors_in_brick函数，这个函数处理单个brick中的plug树
递归处理plug树种的各个节点
走到这里进入relocate_survivors_in_plug函数，这个函数处理单个plug中的对象
图中的这个plug结尾被下一个plug覆盖过，需要特殊处理，这里继续进入relocate_shortened_survivor_helper函数
当前是unpinned plug，下一个plug是pinned plug
枚举处理plug中的各个对象
如果这个对象结尾未被覆盖，则调用relocate_obj_helper重定位对象中的各个成员
如果对象结尾被覆盖了，则调用relocate_shortened_obj_helper重定位对象中的各个成员
在这里成员如果被覆盖会调用reloc_ref_in_shortened_obj修改备份数据中的成员，但是因为go_through_object_nostart是一个macro这里无法调试内部的代码
接下来我们观察对象a的地址是否改变了
重新运行并修改should_compact变量
b gc.cpp:22489
r
expr should_compact = true
plugin load libsosplugin.so
dso
我们可以看到对象a的地址在0x00007fff5c01a2b8，接下来给relocate_address函数下断点
br s -n relocate_address -c "(long)(*pold_address) == 0x00007fff5c01a2b8"
c
我们可以看到地址由0x00007fff5c01a2b8变成了0x00007fff5c0091b8
接下来一直跳回plan_phase，下图可以看到重定位阶段完成以后新的地址上仍无对象，重定位阶段只是修改了地址并未复制内存，直到压缩阶段完成以后对象才会在新的地址
接下来看压缩阶段
进入压缩阶段
在重定位阶段完成以后走到下图的位置，步进即可进入压缩阶段
枚举brick table
处理单个brick table中的plug树
根据下一个tree的gap计算last_plug的大小
处理单个plug中的对象
上面的last_plug是pinned plug所以不移动，这里找了另外一个会移动的plug
下图可以看到整个plug都被复制到新的地址
这里再找一个结尾被覆盖过的plug看看是怎么处理的
首先把被覆盖的结尾大小加回去
然后把被覆盖的内容临时恢复回去
复制完再把覆盖的内容交换回来，因为下一个plug还需要用
最终在recover_saved_pinned_info会全部恢复回去
参考链接
https://github.com/dotnet/coreclr/blob/master/Documentation/botr/garbage-collection.md
https://github.com/dotnet/coreclr/blob/release/1.1.0/Documentation/building/linux-instructions.md
https://github.com/dotnet/coreclr/blob/release/1.1.0/Documentation/building/debugging-instructions.md
http://lldb.llvm.org/tutorial.html
http://lldb.llvm.org/lldb-gdb.html
写在最后
这一篇中我列出了几个gc中比较关键的部分，但是还有成千上百处可以探讨的部分，
如果你有兴趣可以自己试着用lldb调试CoreCLR，可以学到很多文档和书籍之外的知识，
特别是对于CoreCLR这种文档少注释也少的项目，掌握调试工具可以大幅减少理解代码所需的时间
写完这一篇我将暂停研究GC，下一篇开始会介绍JIT相关的内容，敬请期待
