low level/high level

low level

  • 接近原始,最初的那层东西,描述起来比较繁琐,但是非常细节的东西。就好比我们敲一行一行的代码去实现一个窗口操作, low level是high low的基础,万变不离其宗,

low level 任务

  • 包括Super-Resolution,denoise, deblur, dehze, low-light enhancement,deartifacts等 简单来说,是把特定降质下的图片还原成好看的图像,现在基本上用end-to-end的模型来学习这类ill-posed问题的求解过程,客观指标主要是PSNR,SSIM,
  • 存在的问题
    • 泛化性差,换个数据集,同种任务变现就很差
    • 客观指标与主观感受存在,GAP,指标刷很高,人眼观感不佳,用GAN可缓解
    • 落地困难,SOTA模型运算量很大,(上百G Flops),但实际不可能这么用
    • 主要是为人眼服务,缺乏与High-level之间的联系

high level

  • 是建立在low-level的基础上的,封装了low-level的一些细节操作。只需要操作几步就可以完成。好比我们用图形开发工具,托托拽拽分分秒秒实现一个窗口操作。
  • 分类(classification),检测(detection),分割(segmentation)等。一般公开训练数据都是高品质的图像,当送入降质图像时,性能会有下降,即使网络已经经过大量的数据增强(形状,亮度,色度等变换)
  • 真实应用场景是不可能像训练集那样完美的,采集图像的过程中会面临各种降质问题,需要两者来结合。简单来说,结合的方式分为以下几种
    • 直接在降质图像上fine-tuning
    • 先经过low-level的增强网络,再送入High-level的模型,两者分开训练
    • 将增强网络和高层模型(如分类)联合训练

other

  • low level计算机视觉任务,
  • isp:low level 传统算法和深度学习各一半,随着深度学习的发展和影像的发展,isp已经加了许多深度学习和神经网络相关的算法
  • cv: high level

reference

posted @ 2023-01-10 14:11  电院院长  阅读(203)  评论(0编辑  收藏  举报