google cpu profiler二进制结果读取

原文地址：http://www.708luo.com/?p=18

最近一段时间在google cpu profiler做性能热点采样。

用过的人都知道，cpu profiler产出的原始结果是二进制存储的。一般是得到这个结果再使用pprof工具去转化为人可读的文本形式的结果或者图片形式的结果。

但是最近有一些需求：

1. 对两个版本的profiler结果做比较

2. 根据历史数据，对单次profiler结果做一些分析，提示一些可以优化的点

要实现这两个功能，如果是基于pprof转化过的数据进行处理，总会有一些获取不到的信息。所以，最好是基于profiler的原始数据来完成上述的功能。

因为profiler的数据是二进制形式的，所以第一步先来做数据读取的操作。

google了一把，找到了一个profiler数据格式说明：http://google-perftools.googlecode.com/svn/trunk/doc/cpuprofile-fileformat.html。

有了这个说明，读取这个数据就方便了，写了个python实现，如下：

g_offset = 0
def Print(msg): 
    print time.strftime("%Y-%m-%d %H:%M:%S",time.localtime()), " %s"%msg
def unpack_buff(fmt,buff):
    global g_offset
    last = g_offset+struct.calcsize(fmt)
    tp = struct.unpack(fmt,buff[g_offset:last])
    g_offset = last
    return tp
    
def unpack_profile_header(buff):
    Print("Unpack profile data header begin...")
    tp = unpack_buff("<5Q",buff)
    Print("Unpack profile data header succeed!")
    return tp
    
def unpack_records(buff):
    Print("Unpack sample records begin...")
    records = []
    while True:
        tp = unpack_buff("<2Q",buff)
        deep = tp[1]
        fmt = "<%sQ" % deep
        address_tp = unpack_buff(fmt,buff)
        if address_tp[0] == 0:
            break
        x_address_tp = [ "%016x"%addr for addr in address_tp[1:] ]
        record = [tp[0],tp[1],x_address_tp]
        records.append(record)
    Print("Unpack sample records succeed!")
    return records

def unpack_mapped_libs(buff):
    Print("Unpack mapped libs info begin...")
    global g_offset
    string = str(buff[g_offset:])
    map_list = string.split("\n")
    Print("Unpack mapped libs info succeed!")
    return map_list

def read_profile_data(buff):
    Print("Read profile data begin...")
    unpack_profile_header(buff)
    records = unpack_records(buff)
    mapped_libs = unpack_mapped_libs(buff)
    Print("Read profile data succeed!")
    return records,mapped_libs

def main():
    global g_profile_data_file
    if not os.path.exists(g_profile_data_file):
        Print("profile data file[%s] does not exist!"%(g_profile_data_file))
        return 1
    if not os.path.exists(g_execute_file):
        Print("executable file[%s] does not exist!"%(g_execute_file))
        return 1

    bin_buff = None
    with open(g_profile_data_file,"rb") as fd:
        bin_buff = fd.read()
    records,mapped_libs = read_profile_data(bin_buff)