数据增强mosaic实现

mosaic 是yolov4中提出的一个数据增强的方式，通过将4张图片拼接在一起送入训练，有效提升了模型的map。mosaic的优点包括如下：

增加数据多样性，随机选取四张图像进行组合，组合得到图像个数比原图个数要多。
增强模型鲁棒性，混合四张具有不同语义信息的图片，可以让模型检测超出常规语境的目标。
加强批归一化层（Batch Normalization）的效果。当模型设置 BN 操作后，训练时会尽可能增大批样本总量（BatchSize），因为 BN 原理为计算每一个特征层的均值和方差，如果批样本总量越大，那么 BN 计算的均值和方差就越接近于整个数据集的均值和方差，效果越好。
Mosaic 数据增强算法有利于提升小目标检测性能。Mosaic 数据增强图像由四张原始图像拼接而成，这样每张图像会有更大概率包含小目标。
训练的难度增大，有助于模型性能的提

本篇分析mosaic的实现方式。

代码分析

    def load_mosaic(self, index):
        # YOLOv5 4-mosaic loader. Loads 1 image + 3 random images into a 4-image mosaic
        labels4, segments4 = [], []
        s = self.img_size
        yc, xc = (int(random.uniform(-x, 2 * s + x)) for x in self.mosaic_border)  # mosaic center x, y
        indices = [index] + random.choices(self.indices, k=3)  # 3 additional image indices
        random.shuffle(indices)
  
        for i, index in enumerate(indices):
            # Load image
            img, _, (h, w) = self.load_image(index)

            # place img in img4
            if i == 0:  # top left
                img4 = np.full((s * 2, s * 2, img.shape[2]), 114, dtype=np.uint8)  # base image with 4 tiles
                x1a, y1a, x2a, y2a = max(xc - w, 0), max(yc - h, 0), xc, yc  # xmin, ymin, xmax, ymax (large image)
                x1b, y1b, x2b, y2b = w - (x2a - x1a), h - (y2a - y1a), w, h  # xmin, ymin, xmax, ymax (small image)
            elif i == 1:  # top right
                x1a, y1a, x2a, y2a = xc, max(yc - h, 0), min(xc + w, s * 2), yc
                x1b, y1b, x2b, y2b = 0, h - (y2a - y1a), min(w, x2a - x1a), h
            elif i == 2:  # bottom left
                x1a, y1a, x2a, y2a = max(xc - w, 0), yc, xc, min(s * 2, yc + h)
                x1b, y1b, x2b, y2b = w - (x2a - x1a), 0, w, min(y2a - y1a, h)
            elif i == 3:  # bottom right
                x1a, y1a, x2a, y2a = xc, yc, min(xc + w, s * 2), min(s * 2, yc + h)
                x1b, y1b, x2b, y2b = 0, 0, min(w, x2a - x1a), min(y2a - y1a, h)

            img4[y1a:y2a, x1a:x2a] = img[y1b:y2b, x1b:x2b]  # img4[ymin:ymax, xmin:xmax]
            padw = x1a - x1b
            padh = y1a - y1b

            # Labels
            labels, segments = self.labels[index].copy(), self.segments[index].copy()
            if labels.size:
                labels[:, 1:] = xywhn2xyxy(labels[:, 1:], w, h, padw, padh)  # normalized xywh to pixel xyxy format
                segments = [xyn2xy(x, w, h, padw, padh) for x in segments]
            labels4.append(labels)
            segments4.extend(segments)

        # Concat/clip labels
        labels4 = np.concatenate(labels4, 0)
        for x in (labels4[:, 1:], *segments4):
            np.clip(x, 0, 2 * s, out=x)  # clip when using random_perspective()
        # img4, labels4 = replicate(img4, labels4)  # replicate

        # Augment
        img4, labels4, segments4 = copy_paste(img4, labels4, segments4, p=self.hyp['copy_paste'])
        img4, labels4 = random_perspective(img4,
                                           labels4,
                                           segments4,
                                           degrees=self.hyp['degrees'],
                                           translate=self.hyp['translate'],
                                           scale=self.hyp['scale'],
                                           shear=self.hyp['shear'],
                                           perspective=self.hyp['perspective'],
                                           border=self.mosaic_border)  # border to remove

        return img4, labels4

马赛克之后的结果如下：

mosaic 的过程可以分为如下几步：

确定四张图片的中心点
计算上下左右四张图片的左上右下坐标点
图片上的标注框做相应的转换
裁剪标注框多余部分

确定四张图片的中心点

马赛克的第一步就是选择一个中心点，以中心点为基准放置4张图片。中心点选择不是随便的，需要一个范围能够马赛克之后的效果可控。

labels4, segments4 = [], []
s = self.img_size
yc, xc = (int(random.uniform(-x, 2 * s + x)) for x in self.mosaic_border)  # mosaic center x, y

其中 self.mosaic_border = [-img_size // 2, -img_size // 2]，所以 self.mosaic_border = [320, 320]
s = 640，所以 random.uniform(320, 960) 就是用320到960之间选择四张图片的中心点。

计算四张图片的左上右下坐标点

确定了中心点之后就可以将四张图片分别放置在上左，上右，下左，下右四个位置上。

indices = [index] + random.choices(self.indices, k=3)  # 3 additional image indices
random.shuffle(indices)
for i, index in enumerate(indices):
    # Load image
    img, _, (h, w) = self.load_image(index)

    # place img in img4
    if i == 0:  # top left
        img4 = np.full((s * 2, s * 2, img.shape[2]), 114, dtype=np.uint8)  # base image with 4 tiles
        x1a, y1a, x2a, y2a = max(xc - w, 0), max(yc - h, 0), xc, yc  # xmin, ymin, xmax, ymax (large image)
        x1b, y1b, x2b, y2b = w - (x2a - x1a), h - (y2a - y1a), w, h  # xmin, ymin, xmax, ymax (small image)
    elif i == 1:  # top right
        x1a, y1a, x2a, y2a = xc, max(yc - h, 0), min(xc + w, s * 2), yc
        x1b, y1b, x2b, y2b = 0, h - (y2a - y1a), min(w, x2a - x1a), h
    elif i == 2:  # bottom left
        x1a, y1a, x2a, y2a = max(xc - w, 0), yc, xc, min(s * 2, yc + h)
        x1b, y1b, x2b, y2b = w - (x2a - x1a), 0, w, min(y2a - y1a, h)
    elif i == 3:  # bottom right
        x1a, y1a, x2a, y2a = xc, yc, min(xc + w, s * 2), min(s * 2, yc + h)
        x1b, y1b, x2b, y2b = 0, 0, min(w, x2a - x1a), min(y2a - y1a, h)

    img4[y1a:y2a, x1a:x2a] = img[y1b:y2b, x1b:x2b]  # img4[ymin:ymax, xmin:xmax]

从剩余的图片中随机抽取三张，包括当前这一张一共四张，打乱顺序。遍历四张图片，分别处理。首先处理上左。

img4 = np.full((s * 2, s * 2, img.shape[2]), 114, dtype=np.uint8)

首先建立一张空画布，长宽都是两张图片的长宽，1280 * 1280，空白画布如下：

然后画布中上左图片的位置。x1a, y1a是图片在画布中左上角的坐标，x2a, y2a是右下角的坐标。

 x1a, y1a, x2a, y2a = max(xc - w, 0), max(yc - h, 0), xc, yc  # xmin, ymin, xmax, ymax (large image)

x2a, y2a 可以想象就是中心点，也就是xc, yc。x1a 等于中心点横坐标减去图片宽，y1a等于中心点纵坐标减去图片高。可能会出现中心坐标比较靠左，图片超过画布的情况，x1a，y1a会变成一个负值，所以需要判断，当x1a,y1a变成一个负值时，要等于0。
可能存在的如下两种情况：

x1b, y1b, x2b, y2b = w - (x2a - x1a), h - (y2a - y1a), w, h

当出现第二种情况时，就需要先裁剪图片再填充到画布中，所以还需要计算出图片裁剪的坐标。
x1b,y1b是裁剪的左上角坐标， x2b, y2b是裁剪的右下角坐标。当然，如果图片没有超出画布，这两个值就刚好等于图片的全部大小。

img4[y1a:y2a, x1a:x2a] = img[y1b:y2b, x1b:x2b]

最后将图片裁剪之后的像素拷贝到画布中。
剩余三个照片也是同理粘贴。

图片上的标注框做相应的转换

将图片放置在画布上之后，标注框也要放置在画布上。由于图片放在画布上会让标注框产生偏移，所以需要将这些偏移量加到标注框上。

padw = x1a - x1b
padh = y1a - y1b

# Labels
labels, segments = self.labels[index].copy(), self.segments[index].copy()
if labels.size:
    labels[:, 1:] = xywhn2xyxy(labels[:, 1:], w, h, padw, padh)  # normalized xywh to pixel xyxy format
    segments = [xyn2xy(x, w, h, padw, padh) for x in segments]
labels4.append(labels)
segments4.extend(segments)

假设画布中心点就是正方形中心，那么左上角的图片则刚贴合。标注框相当于图片的左上角而言，现在图片和画布上左完全重合，就不需要处理。但是通常画布的中心点不会那么正，相对于中心点有偏移。图片相对于画布的左上角也有偏移，那么标注框也得加上对应的偏移才能回到图片上的位置。
偏移量的计算如下：
padw = x1a - x1b
padh = y1a - y

在xywhn2xyxy中将xywh格式的标注框转换成xyxy格式，同时加上对应的偏移量。让标注框从以原图为坐标系变成以画布为坐标系。

def xywhn2xyxy(x, w=640, h=640, padw=0, padh=0):
    # Convert nx4 boxes from [x, y, w, h] normalized to [x1, y1, x2, y2] where xy1=top-left, xy2=bottom-right
    y = x.clone() if isinstance(x, torch.Tensor) else np.copy(x)
    y[:, 0] = w * (x[:, 0] - x[:, 2] / 2) + padw  # top left x
    y[:, 1] = h * (x[:, 1] - x[:, 3] / 2) + padh  # top left y
    y[:, 2] = w * (x[:, 0] + x[:, 2] / 2) + padw  # bottom right x
    y[:, 3] = h * (x[:, 1] + x[:, 3] / 2) + padh  # bottom right y
    return y

同理上右也是如此：

裁剪标注框多余部分

将标注框超出画布的部分裁剪掉，下图的蓝框所在区域。

# Concat/clip labels
labels4 = np.concatenate(labels4, 0)
for x in (labels4[:, 1:], *segments4):
    np.clip(x, 0, 2 * s, out=x)  # clip when using random_perspective()

np.clip 用于将数组中的元素限制在指定的范围内。如果元素的值低于给定的最小值，则会被设置为该最小值；如果元素的值高于给定的最大值，则会被设置为该最大值。

In [22]: arr = np.array([-1, 0.5, 1.5, 2, 3])
In [23]: arr
Out[23]: array([-1. ,  0.5,  1.5,  2. ,  3. ])

In [24]: np.clip(arr, 0, 2)
Out[24]: array([0. , 0.5, 1.5, 2. , 2. ])

使用np.clip函数将标签超出的部分都裁剪掉。

将标注框显示在图片中的效果如下。

posted @ 2024-07-02 09:52 金色旭光阅读(218) 评论(0) 编辑收藏举报

刷新页面返回顶部

金色旭光