锚框
生成多个锚框(contrib.nd.MultiBoxPrior)
每个像素点构造多个锚框,假设设定一组大小s1,...,sn和一组宽高比r1,...,rm。然后每个像素组合,就有hwnm个锚框,一般情况下,只要s1,和r1的组合。即:
共wh(n+m-1)个锚框
交并比(IoU)
面试中有提问过。。。
标注训练集的锚框
为了训练检测模型,为每一个锚框标注两类信息(类别,与真实边界框的偏移量offset)
目标检测过程:
- 生成多个锚框
- 计算每个锚框的预测类别和偏移量
- 调整锚框位置
- 筛选需要输出的预测边界框
假设:
生成的锚框为A1,A2,...,Ana,真实边界框为B1,B2,...,Bnb。(na>=nb)
矩阵Xna*nb 是对应锚框与真实边界框的IoU,然后不停筛maxX即可,多余的na-nb,横着查max,看是否达到阀值:
生成锚框的类别就弄好了,偏移量的计算:
其中:
A : 宽高 wa , ha , 中心 (xa , ya)
B : 宽高 wb , hb , 中心 (xb , yb)
若 A 没有分配真实框 B,则 A 为背景(负类锚框)
%matplotlib inline import sys import gluonbook as gb from mxnet import image,nd,gluon,contrib import numpy as np np.set_printoptions(2) img = image.imread('./catdog.jpg').asnumpy() h, w = img.shape[0:2] h, w X = nd.random.uniform(shape=(1,3,h,w)) Y = contrib.nd.MultiBoxPrior(X,sizes=[0.75,0.5,0.25],ratios=[1,2,0.5]) Y.shape boxes = Y.reshape((h,w,5,4)) boxes[25,250,:,:] # 画出一个像素的所有锚框 def show_bboxes(axes, bboxes, labels=None, colors=None): def _make_list(obj, default_values=None): if obj is None: obj = default_values elif not isinstance(obj, (list, tuple)): obj = [obj] return obj labels = _make_list(labels) colors = _make_list(colors, ['b', 'g', 'r', 'm', 'c']) for i, bbox in enumerate(bboxes): color = colors[i % len(colors)] rect = gb.bbox_to_rect(bbox.asnumpy(), color) axes.add_patch(rect) if labels and len(labels) > i: text_color = 'k' if color == 'w' else 'w' axes.text(rect.xy[0], rect.xy[1], labels[i], va='center', ha='center', fontsize=9, color=text_color, bbox=dict(facecolor=color, lw=0)) gb.set_figsize() bbox_scale = nd.array((w,h,w,h)) fig = gb.plt.imshow(img) show_bboxes(fig.axes,boxes[250,250,:,:]*bbox_scale,['s=0.75, r=1', 's=0.5, r=1', 's=0.25, r=1', 's=0.75, r=2', 's=0.75, r=0.5'])
labels = contrib.nd.MultiBoxTarget(anchors.expand_dims(axis=0), ground_truth.expand_dims(axis=0), nd.zeros((1, 3, 5))) # 标注类别 labels[2] # mask变量,用来过滤掉背景的偏移量 labels[1] # 偏移量 labels[0]