遥感图像语义分割知识点记录

第一次做遥感图像多分类的语义分割，有点力不从心。在此记录一下一些遇到的bug。（https://github.com/milesial/Pytorch-UNet）源码地址

1.TypeError: Cannot handle this data type

原因：在pytorch中tensor默认是CHW，而PIL中是HWC。在tensorboardX中的SummaryWriter.add_imge()的函数默认dataformats='CHW'，并存在convert_to_HWC操作，致使自己本来是就是HWC的tensor，变成了WCH的numpy类型。从而导致在PIL的fromarray操作无法识别数据类型。

关于tensor、PIL以及numpy转换的问题见下：

https://blog.csdn.net/daydayjump/article/details/88808394?utm_source=distribute.pc_relevant.none-task

 

2.RuntimeError: CUDA out of memory. Tried to allocate...

原因：batch_size或者输入图片尺寸太大了电脑吃不消，改小一点。

 

3.1only batches of spatial targets supported (non-empty 3D tensors) but got targets of size

原因：这个原因是因为在使用Crossentropyloss作为损失函数时，output=net(input)的output应该是[batchsize, channel, height, weight]，而label则是[batchsize, height, weight]，label是单通道灰度图。需要用torch.squeeze取消一个维度。

而在BCELoss中，两者都是[batchsize, channel, height, weight]。

 

4.cuda runtime error: device-side assert triggerde at/pytorch...

原因：模型输出的label与实际的label标签类别数量是否相同？此外，label里不能有-1这个索引。

 

5.在改动Unet的代码跑自己的数据集时，尤其要注意实例化的dataset中，数据的读取是否存在问题。

一般使用os.listdir\os.path.join\splittext组合来读取图片路径，有关os\shutil命令如下：

https://www.cnblogs.com/andy-x/p/10144658.html

 

6.predict出图时，为了可视化结果。

有时不用Dataloader而是直接读取图像路径。为了输入图像到网络，需要先把图片数据转换成tensor，进行resize重采样。然后用unsqueeze扩充1个维度（batchsize）再输入网络，得到输出后，进行softmax计算概率后再减去batchsize的维度。这里存疑，为什么别人说是直接把输出argmax就可以了？我这里最后得到的是bool型的矩阵。但是结果并不理想，目前还不清楚是为什么？

 

class Transformer(object):
    def __init__(self, size, interpolation=Image.BILINEAR):
        self.size = size
        self.interpolation = interpolation
        self.toTensor = transforms.ToTensor()

    def __call__(self, img_):
        img_ = img_.resize(self.size, self.interpolation)
        img_ = self.toTensor(img_)
        return img_

model = UNet(3,7)
model_path = './checkpoint/Unet/model/netG_final.pth'
model.load_state_dict(torch.load(model_path,map_location='cpu'))

model.eval()
test_image_path = r'D:\DeepGlobe_LandCover_CVPR2018\train\src\1.jpg'
test_image = Image.open(test_image_path)
print('Operating...')
transformer = Transformer((256, 256))
img = transformer(test_image)
img = img.unsqueeze(0)

with torch.no_grad():
    label_image = model(img)
    label_image = F.softmax(label_image, dim=1)  #计算loss时，损失函数内置softmax,而网络层没有，所以要可视化，需要softmax 。多分类softmax,二分类sigmoid
    label_image = label_image.squeeze(0)
    full_mask = label_image.squeeze().numpy()
    full_mask = full_mask > 0.5

 7.补充一个rgb2label的代码

 

def color2annotation(input_path, output_path):

    # image = scipy.misc.imread(input_path)
    # imread is deprecated in SciPy 1.0.0, and will be removed in 1.2.0. Use imageio.imread instead.
    image = imageio.imread(input_path)
    image = (image >= 128).astype(np.uint8)
    image = 4 * image[:, :, 0] + 2 * image[:, :, 1] + image[:, :, 2]
    cat_image = np.zeros((2448,2448), dtype=np.uint8)
    cat_image[image == 3] = 0  # (Cyan: 011) Urban land
    cat_image[image == 6] = 1  # (Yellow: 110) Agriculture land
    cat_image[image == 5] = 2  # (Purple: 101) Rangeland
    cat_image[image == 2] = 3  # (Green: 010) Forest land
    cat_image[image == 1] = 4  # (Blue: 001) Water
    cat_image[image == 7] = 5  # (White: 111) Barren land
    cat_image[image == 0] = 6  # (Black: 000) Unknown


    # scipy.misc.imsave(output_path, cat_image)
    imageio.imsave(output_path, cat_image)
    pass

 

 8.未完待续。