数字媒体技术14---wangronggang-VR

VR(沉浸视频)

含义

anyview=多视角
anytime
anywhere
stereo
interatcive(体感技术kinect，体感头盔捕捉头部和眼球运动)

全光函数

7维度
3D viewpoint
2D ray direction
1D wave length
1D time
--->简化为：全景视频（成像在一个球上）

系统

采集

多个gopro相机

1. 相邻相机公共事业
2. fov广角图像即便
3. 相机们的时间同步

生成

假设光心重合

1. 利用特征点匹配估计成像平面所在的位置，计算单一矩阵
2. 融合图像，进行补偿光线等工作

• 问题

1. 实际中，摄像头的光心不能完全重合，导致
   ---》近景和远景单一矩阵不同
   出现parallax error现象，图像断掉--try 不同深度用不同的单一矩阵
2. 时域抖动
3. 弱纹理拼接

编码

1. 数据量大，5k 60fps需要带宽至少45Mbps，现实中
   ---》3Mbps，目前最高的网络带宽40Mbps
2. 压缩质量要高：放在人眼前显示，对块效应等容忍度小
3. 终端解码能力

呈现

1. 立体：
   目前解决方案：通过时差造成伪立体/通过深度估计进行绘制(方法：SGM,Middlebury Benchmark)
2. 视点融合：DIBR(VSRS参考软件)

有很多应用

在线虚拟现实的演唱会etc

有很多值得研究的问题

1.全景的场景理解