low level
- 接近原始,最初的那层东西,描述起来比较繁琐,但是非常细节的东西。就好比我们敲一行一行的代码去实现一个窗口操作, low level是high low的基础,万变不离其宗,
low level 任务
- 包括Super-Resolution,denoise, deblur, dehze, low-light enhancement,deartifacts等 简单来说,是把特定降质下的图片还原成好看的图像,现在基本上用end-to-end的模型来学习这类ill-posed问题的求解过程,客观指标主要是PSNR,SSIM,
- 存在的问题
- 泛化性差,换个数据集,同种任务变现就很差
- 客观指标与主观感受存在,GAP,指标刷很高,人眼观感不佳,用GAN可缓解
- 落地困难,SOTA模型运算量很大,(上百G Flops),但实际不可能这么用
- 主要是为人眼服务,缺乏与High-level之间的联系
high level
- 是建立在low-level的基础上的,封装了low-level的一些细节操作。只需要操作几步就可以完成。好比我们用图形开发工具,托托拽拽分分秒秒实现一个窗口操作。
- 分类(classification),检测(detection),分割(segmentation)等。一般公开训练数据都是高品质的图像,当送入降质图像时,性能会有下降,即使网络已经经过大量的数据增强(形状,亮度,色度等变换)
- 真实应用场景是不可能像训练集那样完美的,采集图像的过程中会面临各种降质问题,需要两者来结合。简单来说,结合的方式分为以下几种
- 直接在降质图像上fine-tuning
- 先经过low-level的增强网络,再送入High-level的模型,两者分开训练
- 将增强网络和高层模型(如分类)联合训练
other
- low level计算机视觉任务,
- isp:low level 传统算法和深度学习各一半,随着深度学习的发展和影像的发展,isp已经加了许多深度学习和神经网络相关的算法
- cv: high level
reference
posted @
2023-01-10 14:11
电院院长
阅读(
203)
评论()
编辑
收藏
举报