MICCAI 三维重建相关论文

合集 - 深度估计(1)

1.MICCAI 三维重建相关论文2023-03-11

收起

2019

Oral Sessions – MICCAI 2019

Real-time 3D reconstruction of colonoscopic surfaces for determining missing regions

解决问题：实时密集重建结肠表面，并显示缺失区域

方法：用RNN预测深度图和连续帧的相机姿态，合并到一个带有局部窗口优化的标准的 SLAM 框架。 使用优化的相机姿态，最终融合成一个全局曲面。

深度学习驱动跟踪是基于RNN-DP，为视频中的每个图像预测深度图和摄像机姿态（Wang, R., Pizer, S.M., Frahm, J.M.: Recurrent neural network for (un-) supervisedlearning of monocular video visual odometry and depth. In: Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2019)）

Fusion 方法：SurfelMeshing 它以RGB+深度+相机序列作为输入，生成一个3D曲面。

**Real-time Surface Deformation Recovery from Stereo Videos **

本文提出了一种实时估计立体视频组织表面变形的方法，首先采用立体匹配方法从立体视频帧中提取深度信息并生成组织模板，然后通过最小化ICP、ORB特征匹配和尽可能刚性(ARAP)代价来估计得到的模板的变形。

立体匹配方法：Zhou, H., and J. Jagadeesan. :Real-time Dense Reconstruction of Tissue Surface from Stereo Optical Video. IEEE Transactions on Medical Imaging (2019).

2020

MICCAI2020-Detailed-Program.pdf

Deep Multi-View Stereo for Dense 3D Reconstruction from Monocular Endoscopic Video Bae_et_al_MICCAI20_DeepMVS.pdf (cam.ac.uk)

本文提出了一种新的基于深度学习的MVS算法，该算法能够从单眼内窥镜图像序列中产生密集而准确的三维重建。

使用单目深度估计网络来约束深度候选采样的搜索空间；提出了一种新的贴片嵌入网络，与ZNCC等立体匹配算法相比，该算法的精度得到了提高，计算量也更低；在计算序列中相邻图像的得分后，选择最小值，通过加强多视图的一致性来提高重建质量

方法：三个预处理步骤，然后是一个多视点立体重建。 预处理的三个步骤是：（1）利用SFM进行稀疏重建，(2)利用CNN进行单目深度估计，(3)利用贴片嵌入网络（patch embedding network）生成嵌入矢量

Deep Learning Assisted Automatic Intra-operative 3D Aortic Deformation Reconstruction

Zhang, Yanhao; Falque, Raphael; Zhao, Liang; Huang, Shoudong; Hu, Boni Centre for Autonomous Systems, University of Technology Sydne

本文提供了一个框架，通过融合术前三维静态模型和术中二维透视图像来重建实时三维主动脉形状

术前操作为静态模型分割和神经网络训练。 术中操作包括特征提取、基于SDF的对应关系计算和主动脉三维变形重建

2021

MICCAI 2021 - Accepted Papers and Reviews

https://link.springer.com/content/pdf/10.1007/978-3-030-87231-1.pdf

E-DSSR: Efficient Dynamic Surgical Scene Reconstruction with Transformer-based Stereoscopic Depth Perception

2107.00229v1.pdf (arxiv.org)

提出了一个高效的三维重建pipeline，用于高动态的手术场景，设计了一个基于transformer的立体深度感知器来估计深度，并设计了一个轻量级的刀具分割器来处理刀具遮挡。在此基础上，提出了一种动态重建算法，该算法能够估计组织的变形和摄像机的运动，并将信息随时间的变化聚合起来，用于手术场景的重建。

• EMDQ-SLAM: Real-time High-resolution Reconstruction of Soft Tissue Surface from Stereo Laparoscopy Videos

2022

Categories | MICCAI 2022 - Accepted Papers and Reviews

https://link.springer.com/content/pdf/10.1007/978-3-031-16446-0.pdf

• Neural Rendering for Stereo 3D Reconstruction of Deformable Tissues in Robotic Surgery

提出了一种新的基于神经渲染的单视点双目图像动态手术场景重建框架，并解决了复杂的组织变形和工具遮挡问题。

方法：遵循D-NERF[21]中的模型，将可变形的手术场景表示为规范的神经辐射场和随时间变化的神经位移场，用神经隐式场来表示动态的手术场景；掩模引导光线投射策略来解决刀具遮挡问题；结合了一种深度提示的光线行进和深度监督的优化方案，使采样点集中在组织表面附近，从而在渲染中施加立体先验。

实验：在我们所有的实验中，工具掩模是通过人工标记获得的，粗糙的立体深度图是通过STTR-Light[9]在场景流上预先训练生成的。实验数据需要rgb图像、深度图、工具掩膜、相机位姿（LLFF格式）。

• Deep Laparoscopic Stereo Matching with Transformers

在本文中，我们全面研究了transformer在立体匹配问题中的应用，并提出了一种新的混合深度立体匹配框架(HybridStereoNet)，该框架将CNN和transformer的优点结合在一个统一的设计中。

• Bayesian dense inverse searching algorithm for real-time stereo matching in minimally invasive surgery

该方法建立在快速LK算法的基础上，以从粗到细的方式对立体图像进行视差估计。该方法可以处理由于无纹理表面引起的模糊性和由于非朗伯反射率引起的光度不一致。

• Stereo Depth Estimation via Self-Supervised Contrastive Representation Learning

提出了一个两阶段的训练过程，包括:(1)执行左右视图的对比表示学习(CRL)来学习离散立体特征(2)利用训练好的CRL模型通过基于光度损失的自监督训练来学习视差