用于视频稳定的3D多帧融合

用于视频稳定的3D多帧融合

    介绍了一种新的视频稳定框架RStab，它通过体绘制集成了3D多帧融合。与传统方法不同，引入了一种3D多帧视角来生成稳定的图像，解决了在保持结构的同时生成全帧的挑战。改进的RStab框架的核心在于稳定渲染（SR），这是一个体绘制模块，融合了3D空间中的多帧信息。具体来说，SR涉及通过投影从多个帧中扭曲特征和颜色，将它们融合到描述符中以渲染稳定的图像。然而，扭曲信息的精度取决于投影精度，这是一个受到动态区域显著影响的因素。作为回应，引入了自适应射线范围（ARR）模块来集成深度先验，自适应地定义投影过程的采样范围。此外，提出了颜色校正（CC），通过光学功能辅助几何约束，以实现精确的颜色聚合。得益于这三个模块，与之前的稳定器相比，RStab在视场（FOV）、图像质量和各种数据集的视频稳定性方面表现出了卓越的性能。

    用于视频稳定的3D多帧融合框架概述，如图4-33所示。

 

图3-33  用于视频稳定的3D多帧融合框架概述

在图4-33中，（1）给定输入框架

 ，轨迹不稳定

 ，目的在于渲染稳定的视频序列

 ，轨迹

 。这里，输入轨迹

 =1来自预处理，而平滑轨迹

  是使用轨迹平滑模块生成的。（2） 除了

 =1，深度图

 和光学功能

 在预处理过程中可以获得1。汇总

 使用自适应光线范围模块将光线范围

 转换为1。射线范围

 ，以及

 和平滑轨迹

  用作稳定渲染模块的输入。通过颜色校正模块增强的稳定渲染，融合了输入帧

 及其特征

 ，渲染稳定的视频序列

 =1。