项目笔记《DeepLung:Deep 3D Dual Path Nets for Automated Pulmonary Nodule Detection and Classification》（三）（上）结果评估
在（一）中，我将肺结节检测项目总结为三阶段，这里我要讲讲这个项目的第三阶段，至于第二阶段，由于数据增强部分的代码我始终看不大懂，先不讲。
结果评估的程序在evaluationScript文件夹下，这个文件夹下的文件名比较烦，看的比较懵。
annotations文件夹里面放的是结节标签文件，无关结节标签文件（是结节，但是不统计在内，也不作为非结节区域，就是评估的时候如果你检测到了它，既不算正确，也不算错误，略过），还有用户id文件。
tool文件夹放的是读取csv文件的模块。
frocwrtdetpepchluna16.py用来将输出的.npy格式的结果转化为.csv格式。
noduleCADEvaluationLUNA16.py用来对.csv文件中的结果进行评估，得出froc曲线图。
下面详细分析下代码，首先是frocwrtdetpepchluna16.py。
def getcsv(detp, eps): #给定阈值和epoch for ep in eps:#针对每个epoch bboxpath = results_path + str(ep) + '/' #找到每个epoch的路径 for detpthresh in detp: print 'ep', ep, 'detp', detpthresh f = open(bboxpath + 'predanno'+ str(detpthresh) + 'd3.csv', 'w') #根据阈值分别创建与之对应的文件 fwriter = csv.writer(f) fwriter.writerow(firstline) #写入第一行，包括用户id,结节坐标x,y,z,结节概率p fnamelist = [] for fname in os.listdir(bboxpath): if fname.endswith('_pbb.npy'): #找到以_pbb.npy结尾的文件（输出的结节预测值），添加进文件列表 fnamelist.append(fname) print(len(fnamelist)) convert = functools.partial(convertcsv, bboxpath = bboxpath, detp = detpthresh) #这个函数对convertcsv函数进行修饰，其实就是预设定几个参数，不用再输入 for fname in fnamelist: print fname rowlist = convert(fname) #将每一个_pbb.npy文件转换为csv文件 for row in rowlist: print row fwriter.writerow(row)
#这段注释掉的是原来的代码，用来对那末多pbb.npy文件并行处理，事实证明，确实快了好几倍，实际运行应该用下面这段
#map函数也是修饰函数，将fnamelist的元素并行送给convert处理
#predannolist = p.map(functools.partial(convertcsv, bboxpath=bboxpath, detp=detpthresh), fnamelist) #for predanno in predannolist: # print predanno # for row in predanno: # print row # fwriter.writerow(row) f.close()
上面这段代码不是核心代码，这段的作用是对输出的结果文件调用convertcsv函数处理，结果就是每一个epoch都生成一个csv文件，存放80多个测试病例的预测结节位置及概率。
那么接下来就说说比较核心的convertcsv函数
def convertcsv(bboxfname, bboxpath, detp):#给定pbb.npy的文件名，pbb.npy的路径，阈值 sliceim,origin,spacing,isflip = load_itk_image(datapath+bboxfname[:-8]+'.mhd')#加载原始数据 origin = np.load(sideinfopath+bboxfname[:-8]+'_origin.npy', mmap_mode='r') #以下几行加载预处理后的坐标原点，分辨率，拓展box spacing = np.load(sideinfopath+bboxfname[:-8]+'_spacing.npy', mmap_mode='r') resolution = np.array([1, 1, 1]) extendbox = np.load(sideinfopath+bboxfname[:-8]+'_extendbox.npy', mmap_mode='r') pbb = np.load(bboxpath+bboxfname, mmap_mode='r') #加载pbb.npy文件 #print "load finished!" pbbold = np.array(pbb[pbb[:,0] > detp]) #根据阈值过滤掉概率低的 pbbold = np.array(pbbold[pbbold[:,-1] > 3]) #根据半径过滤掉小于3mm的 pbbold = pbbold[np.argsort(-pbbold[:,0])][:1000] #这条是我加上的，取概率值前1000的结节作为输出，不然直接进行nms耗时太长 pbb = nms(pbbold, nmsthresh) #对输出的结节进行nms #print "after nms bboxs:",pbb.shape[0] # print len(pbb), pbb[0] # print bboxfname, pbbold.shape, pbb.shape, pbbold.shape pbb = np.array(pbb[:, :-1]) #去掉直径 # print pbb[:, 0] pbb[:, 1:] = np.array(pbb[:, 1:] + np.expand_dims(extendbox[:,0], 1).T) #对输出加上拓展box的坐标，其实就是恢复为原来的坐标，我对这个拓展box深恶痛绝 pbb[:, 1:] = np.array(pbb[:, 1:] * np.expand_dims(resolution, 1).T / np.expand_dims(spacing, 1).T) #将输出恢复为原来的分辨率，这样就对应了原始数据中的体素坐标 if isflip:#如果有翻转的情况，将坐标翻转（我理解是这样的，原始数据有翻转的情况，但是label还是未翻转的label，那么将label翻转，所以模型的输出也是翻转的，现在要再翻转回去，与label对应）
#拓展box与翻转这两个操作让我神烦 Mask = np.load(sideinfopath+bboxfname[:-8]+'_mask.npy', mmap_mode='r') pbb[:, 2] = Mask.shape[1] - pbb[:, 2] pbb[:, 3] = Mask.shape[2] - pbb[:, 3] pos = VoxelToWorldCoord(pbb[:, 1:], origin, spacing) #将输出转换为世界坐标 #print "voxel to world finished!" rowlist = [] # print pos.shape for nk in xrange(pos.shape[0]): # pos[nk, 2], pos[nk, 1], pos[nk, 0] #现在依次将文件名，z,y,x，概率（经过sigmoid处理）写入rowlist，每行都是一个输出结节 rowlist.append([bboxfname[:-8], pos[nk, 2], pos[nk, 1], pos[nk, 0], 1/(1+np.exp(-pbb[nk,0]))]) # print len(rowlist), len(rowlist[0]) return rowlist#bboxfname[:-8], pos[:K, 2], pos[:K, 1], pos[:K, 0], 1/(1+np.exp(-pbb[:K,0]))
这段代码各种操作是真的繁琐，看着都头疼。这段主要完成的就是对输出结节应用阈值和nms，输出的结果再转换为与label一样的坐标体系，因为最后的准确与否全看与label是否一致。看一下打印的输出信息，这里用的是subset9为验证集，我只贴出了一个epoch的测试结果，阈值取为-0.125，这是sigmoid函数的输入，对应概率值0.4695。
ep 1 detp -0.125 write to/home/code/DeepLung/detector/results/new_arch/retrft969/val1/predanno-0.125pbb.csv
至此，输出处理完毕，可以求取最后的FROC值了，离大功告成只差一步。
不过，每个epoch都会对应一个csv结果文件，我们还要选取一个最好的结果，选取标准就是FROC值，这些都是如何做的呢，不妨看一下代码。
def getfroc(detp, eps): maxfroc = 0 maxep = 0 for ep in eps: #对每个epoch分别处理 bboxpath = results_path + str(ep) + '/' predannofnamalist = [] for detpthresh in detp: #此处的detp就是阈值，只不过这里采用的是一个阈值列表，就我自己而言，我采用的阈值是-0.125，列表中只有一个元素 predannofnamalist.append(bboxpath + 'predanno'+ str(detpthresh) + 'pbb.csv') #froclist = p.map(getfrocvalue, predannofnamalist) froclist = [getfrocvalue(predanno) for predanno in predannofnamalist] #调用getfrocvalue求取froc值 if maxfroc < max(froclist): maxep = ep maxfroc = max(froclist) print froclistprint maxfroc, maxep
接下来调用getfrocvalue函数，这个函数其实是调用了noduleCADEvaluationLUNA16.py，也就是核心模块，刚才的frocwrtdetpepchluna16.py只是做了一层处理，对输出进行筛选和变换，以用来进行最后的大决战。
def getfrocvalue(results_filename): return noduleCADEvaluation(annotations_filename,annotations_excluded_filename,seriesuids_filename,results_filename,'./')
可以看到，我们将标签文件，无关标签文件，用户id文件，以及最后的结果文件也就是之前的csv文件作为输入，输出会是一个标量值，也就是评分。
对noduleCADEvaluationLUNA16.py的分析我想放到（三）（下）去讲，因为会比较长。
