3D视觉-NeRF、3dgs、SLAM、点云、CG和就业、科研经验

Job description

图形图像算法实习生-剪映-上海
岗位职责
ByteIntern：面向2025届毕业生（2024年9月-2025年8月期间毕业），为符合岗位要求的同学提供转正机会。
团队介绍：字节跳动剪映研发团队，主要支持剪映、醒图、Faceu 等多款国内外产品的研发工作，业务覆盖多元化影像创作场景，截止2021年6月，相关产品多次登顶国内外App Store 免费应用榜第一，并继续保持高速增长。加入我们，一起打造全球最受用户欢迎的影像创作产品。
1、负责计算机图形学和计算机视觉等相关算法的研发和实现；
2、负责计算机图形学和计算机视觉相关技术的前沿研究，为产品应用提出人工智能解决方案和模型；
3、开发新技术的原型系统。
岗位要求
1、2025届本科及以上学历在读，在计算机图形学、计算机视觉、计算数学或计算机动画等一个或多个领域有较深入的研究，包括但不限于：数值计算、几何处理、物理仿真、角色动画、生成模型(GAN、VAE等)、手机端图像处理；
2、有科研经验、在NeurIPS、CVPR、ICCV、ECCV、ICLR、ICML、TPAMI、IJCV、SIGGRAPH、ToG、TVCG等国际顶刊、顶会上发表过论文者优先；
3、扎实的数学和算法基础：概率统计、数值优化算法，并对网格处理算法有深刻理解；
4、可以处理大规模数据，利用PyTorch、TensorFlow等框架搭建神经网络，并进行大规模训练；
5、熟悉Python和C++，熟悉基础数据结构和算法；
6、拥有快速学习新技术的能力，能够在较短时间内理解前沿论文，有独立思考的能力；
7、能与团队融洽合作相处，积极主动有热情；
8、每周出勤至少4天，可实习4个月以上。

SLAM

近三年SLAM相关论文集 paper list
浙大CAD Guofeng Zhang
邹丹平结构的slam
ORB-SLAM / ORB-SLAM2原理解读+代码解析（汇总了资料，方便大家学习）
ORB_SLAM
ORB-SLAM2：一种单目、立体和 RGB-D 相机的开源 SLAM 系统
我们提出了ORB-SLAM2一个完整的SLAM系统，用于单目、立体和 RGB-D 相机，包括地图重用、闭环和重新定位功能。该系统在各种环境中的标准CPU上实时工作，从小型手持室内序列到在工业环境中飞行的无人机和在城市周围行驶的汽车。我们的后端基于具有单目和立体观察的捆绑调整，允许使用公制尺度进行准确的轨迹估计。我们的系统包括一个轻量级的定位模式，该模式利用视觉里程计轨迹用于未建图的区域，并匹配允许零漂移定位的地图点。对29个流行的公共序列的评估表明，我们的方法达到了最先进的精度，在大多数情况下是最准确的SLAM解决方案。我们发布源代码，不仅是为了SLAM社区的利益，而且旨在为其他领域的研究人员提供开箱即用的SLAM解决方案。
Scene Representation Group

图形学介绍notes

什么是计算机图形学中科大刘
 中科大2024年计算机图形学
在计算机中表示图形、以及利用计算机进行图形的计算、处理和显示的相关原理与算法。广义上包括二维与三维。
计算机图形学：用计算机画图像。

计算机图形学课程

GAMES101
清华计算机图形学课程
 中国科学技术大学《计算机图形学》本科课程
 中国科学技术大学《计算机图形学》本科课程Computer Graphics (00106501)（2024年春夏学期）
现代OpenGL保姆级课程，从零开始打造3D游戏引擎
 计算机图形学全套算法讲解和C++编码实现（共23讲配套源码）

SIGGRAPH

渲染 (Rendering)：包括光线传输模拟 (light transport simulation)，实时渲染 (real-time rendering)，采样 (sampling)，反射率捕获 (reflectance capture)，相交的数据结构 (data-structures for intersections) 以及非真实感渲染 (non-photorealistic rendering)。
动画与模拟仿真 (Animation and simulation)：包括角色动画 (character animation)，运动捕捉和绑定/蒙皮 (motion capture and rigging/skinning)，电影摄影/相机路径规划 (cinematography/camera path planning)，可变形模型 (deformable models) 以及流体、衣服、头发或声音模拟 (fluid, cloth, hair or sound simulation)，包括与这些主题有关的几何或拓扑问题 (geometric or topology problems)。
几何 (Geometry)：包括基于点、体素、网格的几何处理和建模 (geometry processing and modeling)，以及拓扑 (topology)，映射 (mapping)，矢量场 (vector fields) 和形状收集分析 (shape collection analysis)，此外还包括基于图像的建模 (image-based modeling)。
图像 (Images)：包括图像和视频处理 (image and video processing)，纹理合成和编辑 (texture synthesis and editing)，图像分割 (image segmentation)，绘图 (drawing)，草图 (sketching) 和插图 (illustration)，图像本征分解 (intrinsic decomposition) 或计算摄影 (computational photography)，此外还包括更依赖图像技术的基于图像的渲染 (image-based rendering)。
虚拟现实 (Virtual Reality)：包括虚拟和增强现实 (virtual and augmented reality)，3D显示 (3d displays) 和交互 (interactions)。
制造 (Fabrication)：包括3D打印 (3d printing)，编织或焦散设计 (knitting or caustic design)。
一个图形学研究牲的论文投稿心得
 计算机图形学（渲染方向）学习全攻略——学术科研篇
 计算机图形学（几何与建模方向）学习全攻略——学术科研篇

无人系统实验室

HKUST Aerial Robotics Group
SmarT Autonomous Robotics Group
FAST Lab
Fudan Magic Lab
RAPID LABORATORY

3D视觉

CCCV2017讲习班笔记-基于图像的大规模场景三维重建（上）
CCCV2017讲习班笔记-基于图像的大规模场景三维重建（下）

NeRF&重建&3dgs

原始论文
3D Gaussian Splatting: A beginner friendly introduction to 3D Gaussian Splats and tutorial on how to train them.
3D Gaussian Splatting for Real-Time Radiance Field Rendering
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
解读
据说是Nerf方向讲的最好的blog:NeRF: A Volume Rendering Perspective
神经辐射场（Nerf）论文讲解
 CVPR'23｜一张图重建3D人物新思路：完美复刻复杂动作和宽松衣物，遮挡也不在话下
 3D GAUSSIAN AS A NEW VISION ERA: A SURVEY
3D Gaussian Splatting for Real-Time Radiance Field Rendering SIGGRAPH 2023 (ACM Transactions on Graphics)
3d高斯笔记
 3D Gaussian Splatting for Real-Time Radiance Field Rendering
Instant Neural Graphics Primitives with a Multiresolution Hash Encoding 翻译
蔚蓝海岸大学（Université Côte d’Azur）是法国蔚蓝海岸地区新成立的高等教育大学机构集群，汇集了蔚蓝海岸地区主要的高等教育和研究机构。蔚蓝海岸大学旨在根据各学科间的新型互动，研究、教学与创新间的新型合作方式以及与企业和地方政府间的坚实合作关系，创办21世纪新型的法国大学模式
蔚蓝海岸（UCA）大学是一所研究密集型多学科大学，2016年获得了“卓越计划”的荣誉称号和资助。UCA在各成员的研究团队之间建立了协同效应，其研究团队涵盖的科学领域主要由4个组织负责：
法国国家科研中心（CNRS）—蔚蓝海岸区域
法国国家信息与自动化研究所（Inria）—地中海区域
蔚蓝海岸天文台（OCA）
尼斯-索菲亚·昂蒂波利斯大学（UNS）
CV&ML领域，Inria有两个很强的组， Willow 和 THOTH
Willow
THOTH
THOTH的Team Leader Cordelia Schmid
Cordelia Schmid的research.google
果然大佬的学生也是大佬
Product Quantization-Jegou Searching with Quantization

3dgs复现

一、3dgs的安装及环境配置
带图原版教程：https://blog.csdn.net/weixin_64588173/article/details/138140240
二、训练过程quick start
运行时保持是从gaussian-splatting目录下开始输入
1.视频截取帧
用自己手机拍摄的一段视频，一两分钟即可
（用自己的笔记本（4060 8G），大概训练了两个小时左右）
1.1 gaussian-splatting目录下新建一个data文件夹
1.2将你拍摄的视频移动到该data文件夹下
1.3将你的视频改名为input，后缀.mp4不用改
1.4在data文件夹里再建一个与视频同名的文件夹，名字也是input
1.5终端（win+R或搜索cmd）里从gaussian-splatting/data目录下开始输入命令
cd data
ffmpeg -i input.mp4 -vf "setpts=0.2*PTS" input\input_%04d.jpg #推荐运行这个指令
ffmpeg -i input.mp4 -vf "setpts=0.2*PTS,fps=1" input\input_%04d.jpg #如果需要调整抽帧频率可以参考这个指令,选择一个运行即可

setpts=0.2*PTS 将视频播放速度加快到原来的 5 倍。这意味着原视频的每秒帧数增加到 5 倍。

如果原始视频是 30 FPS，加速后的视频将以 150 FPS 播放。

尽管视频播放速度加快了，ffmpeg fps=1 会以每秒一帧的频率提取图片。

2.产生点云
终端gaussian-splatting目录下输入
python convert.py -s data
用安装的colmap产生点云，会花费一些时间

3.查看点云
colmap窗口出现后，选择file->import model
选择文件夹：gaussian-splatting/data/sparse/0，确定
遇到弹窗×掉
可以看到生成的点云，红色相机路径。

4.开始训练
anaconda prompt或anaconda prompt在进入3dgs的虚拟环境终端里
gaussian-splatting目录下输入
python train.py -s data -m data/output
训练时间要看电脑的配置
进入虚拟环境(conda activate 3dgs)非常重要，否则可能缺少pytorch