端侧显著性检测新高度,OPPO提出面向真实场景的PSUNet
前言 在高分辨率场景下,现有的显著目标检测方法难以同时满足快速推理和准确结果的要求。它们受到用于高分辨率图像的公共数据集和高效网络模块的质量的限制。
为了缓解这些问题,本文构建一个显著对象匹配数据集HRSON和一个轻量级网络PSUNet。考虑到移动部署框架的高效推理,设计了对称像素置乱模块和轻量级模块TRSU。
本文转载自AIWalker
仅用于学术分享,若侵权请联系删除
欢迎关注公众号CV技术指南,专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。
【CV技术指南】CV全栈指导班、基础入门班、论文指导班 全面上线!!
https://arxiv.org/abs/2312.07100
在高分辨率基准数据集上,与13种SOD法相比,PSUNet具有最好的客观性能。客观评价结果优于U2Net,后者的参数值是我们网络的10倍。在骁龙8第二代移动平台上,推断一张640x640图像仅需113ms。在主观评价上,评价结果优于行业基准IOS16。
本文方案
编解码器的整体结构类似于U2Net,由所提轻量级TRSU模块组成。所提TRSU单元也具有UNet结构。在3x3卷积的一层之后,通过深度可分离卷积和最大合并的多个组合的堆叠将特征地图采样到较小的大小。然后在经过几层深度可分离卷积后,通过相同数量的上采样和深度可分离卷积的组合来恢复分辨率。最终输出是经过一层3x3卷积后得到的。TRSU通过跳过连接控制网络宽度。MIDLBlock(图1(C))堆叠纯深度可分离的卷积结构,以提取更深层次的特征。对于解码器中的TRSU模块,图1(D)中的所有卷积都被深度可分离的卷积所取代。最后,特征图经过单层卷积后送入SPSM。编码器和解码器之间的跳过连接也是加法的形式。
我们集成了RGB SOD低分辨率数据集DUTS-TR、HKU-IS、RGB SOD高分辨率数据集UHRSD、HRSSOD、DIS5K、RGB-D SOD数据集COME15K[5],以及匹配数据集AM、P3M。
为了构建集成的数据集,我们与数据标签专家合作,为实际应用建立了显著标准。我们手动排除了不适合标记的图像,特别是在多个数据集行为不一致的情况下。超分辨率算法Real-ESRGAN被用来将分辨率提高到720多个短边像素。上采样的双线性内插被用来以相同的速率提高标签分辨率。利用预先训练好的大模板模型对所有SOD数据集的标签进行细化。
本文实验
在三个高分辨率的数据集上,我们以更小的计算量和参数数量超越了大多数轻量级方法。提出的PSUNet包含415M参数,当输入图像大小为640x640时,需要12.38G MAC计算。它比大多数的SOOD方法都要轻得多。实验结果表明,这些客观指标表明所提方案甚至可以与U2Net相媲美。
在浮点16量化后,它们被部署到移动设备上。在高性能骁龙8 Gen 2移动平台上,模型推理仅需113毫秒;在中级芯片平台联发科Dimensity 8100-Max上运行234毫秒。
欢迎关注公众号CV技术指南,专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。
【技术文档】《从零搭建pytorch模型教程》122页PDF下载
QQ交流群:470899183。群内有大佬负责解答大家的日常学习、科研、代码问题。
其它文章
LSKA注意力 | 重新思考和设计大卷积核注意力,性能优于ConvNeXt、SWin、RepLKNet以及VAN
CVPR 2023 | TinyMIM:微软亚洲研究院用知识蒸馏改进小型ViT
ICCV2023|涨点神器!目标检测蒸馏学习新方法,浙大、海康威视等提出
ICCV 2023 Oral | 突破性图像融合与分割研究:全时多模态基准与多交互特征学习
HDRUNet | 深圳先进院董超团队提出带降噪与反量化功能的单帧HDR重建算法
南科大提出ORCTrack | 解决DeepSORT等跟踪方法的遮挡问题,即插即用真的很香
1800亿参数,世界顶级开源大模型Falcon官宣!碾压LLaMA 2,性能直逼GPT-4
SAM-Med2D:打破自然图像与医学图像的领域鸿沟,医疗版 SAM 开源了!
GhostSR|针对图像超分的特征冗余,华为诺亚&北大联合提出GhostSR
Meta推出像素级动作追踪模型,简易版在线可玩 | GitHub 1.4K星
CSUNet | 完美缝合Transformer和CNN,性能达到UNet家族的巅峰!