为AR&VR黑科技：以“自由视角”360度尽展舞台唯美
摘要：看华为的黑科技，如何用“自由视角”让观众感受舞台“风暴”的魅力所在。
“风暴”降临
2021年1月9日晚上，我坐在电视机前，等待湖南卫视综艺《舞蹈风暴》第二季的收官之战。
凭借自我独白式的现代舞《一个舞者的自白》，舞者谢欣最终夺得冠军，她接过奖杯数次哽咽：“舞蹈值得我们所有人用一生去挚爱”，她还特别提到台前幕后的工作人员，感谢他们“让观众懂得舞蹈、认识舞者做的每一滴努力”。屏幕前的我内心仿佛被投入一块小石子，久久难以平静，与《舞蹈风暴》那几个月的“朝夕相处”如倒带一样，在脑海里逐渐清晰起来……
我不仅仅是一名《舞蹈风暴》的观众，还是一名华为工程师，来自2012实验室中央媒体技术院AR&VR工程部的空间视频团队。《舞蹈风暴》这个节目给观众带来了如臻化境，大美无形的绝美舞台，而最为亮眼的就是每个舞者的“风暴时刻”，每场“风暴”利用时空凝结技术给观众奉上舞蹈的全新欣赏体验，我们，正是实现“风暴时刻”的技术团队。
从乒乓球台到芒果舞台
故事要从大半年前说起。2020年5月，一个好消息传来：湖南卫视舞蹈综艺节目《舞蹈风暴》开始筹备第二季，要知道2019年这个综艺节目一经推出，别出心裁的时空“凝结”风暴时刻环节立刻俘虏了无数观众的心，豆瓣评分也高达9.2分。如今第二季即将上演，华为抓住了机会，为定格风暴时刻提供技术支持。
机会是给有准备的人，我们就是那群做好准备的人。作为AR&VR工程部的空间视频团队，一直以来我们在如何利用AR&VR技术来颠覆视频等方面进行了很多构想和探索，渴望能有一显身手的天地。我们认为，一直以来观众是在“被动”地观看视频，未来用户应该更具“主动”性，比如可以通过在手机上自主控制，即可切换观看的视角，最终配合VR和AR眼镜，实现真正的各种位移的体验。另外，视频的体验也应该从传统的二维平面，拓展到三维空间，这也是AR&VR技术发挥其优势的最佳业务场景。
按照这样的思路，2019年年初我们就启动了空间视频自由视角技术预研项目，并与相关企事业以及高校合作方合作，共同探索多相机阵列采集、视角合成等空间视频所需要的基础技术。2019年11月，在成都举行的国际乒联男子世界杯中，我们研发的自由视角直播系统首次成功应用在体育赛事直播中，在运营商的APP中，观众不仅可以观看高清晰度的球赛现场，而且只要在手机屏幕上通过点击、旋转等操作，还可以看到国际顶尖高手们转瞬即逝精彩的发球、接球瞬间。这一次，自由视点技术的“小试牛刀”获得了不错的反响，让我们在业内也获得了不错的评价，也因此有了后续与湖南卫视《舞蹈风暴》合作的机会。
成都乒乓球世界杯 自由视角直播系统
争分夺秒闯关到演播室
大显身手的机会来了，我们马上与融合视频产品线的兄弟们组成联合项目组，开始攻关解决方案。我们AR&VR工程部团队主要负责前段的多相机阵列采集方案设计、系统标定算法、焦点处理、精彩瞬间生成等关键算法的研发，融合视频产品线将我们的技术与传输、存储产品聚合起来，形成真正可交付落地的商业产品。
大家分工明确、有条不紊地进行开发时，突然收到一线传回的消息：由于客户那边的采购周期长、相机需要备货等问题，原定1个月的联调周期被大大压缩到了10天，联调是非常重要的一环，我们要与节目组一起在现场调测，这样才能保证最后的录制效果，但如今从1个月骤减到10天，这完全打乱了我们原来的开发计划。这个消息称之为“晴天霹雳”也不为过，我还记得自己盯着电脑屏幕久久都回不过神来，满脑子都是“怎么办”。客户那边也明白时间太短，为此深感抱歉，表示愿意去汇报申请拍摄延期。
虽然“后路”有了，但我们明白延期录制对于一个节目来说，意味着商业价值的流逝，也会影响后面一系列节目的档期。对于我们来说，这个节目也是华为的技术和产品亮相的大好机会，大家格外珍惜，决定还是试试看拼一把。于是我们调整了开发策略，先自己“在家”模拟调试，利用前期积累的数据，我们模拟出了多相机推流保证融合视频产品开发验证，此外还利用在AR&VR领域的技术积累，构建了一个虚拟舞台环境，模拟出了相机的部署效果和图像，完整模拟了标定和焦点处理算法的处理流程，这一系列下来，我们最后的效果基本符合预期。
但这一切都是在模拟环境中，与真正的舞台还是有区别的，许多问题只会在实地现场显现。拍摄的前十天，由于节目的录制地还在调试，我们来到了湖南卫视的临时摄影棚进行实机调试，客户提供给我们的联调现场是一个15mx20m的临时摄影棚，所有的相机、导轨、电动云台、服务器、交换机、边缘云设备都先汇聚到这个狭小的空间内进行搭建和调试，验证好后再解体搬移到真正的拍摄现场。
这个小小的摄影棚成为我们临阵磨枪的最后阵地，在这里我们度过了最紧张刺激也最辛苦的5天，和预想的一样，前期模拟没有出现过的问题，在这5天里都一一暴露：摄像机云台自由度不够需要调整结构、液压机的精度有问题抬起过程晃动剧烈、镜头和相机配合有问题无法自动复位……原本能够从容解决的问题因为时间紧张也变得非常棘手。
临时系统联调现场
但我们的团队格外团结。还记得有一天早上6点多我们来到现场，我看到了凌晨2点刚刚下班的左同学，他负责系统压测并及时反馈定位大量相机稳定性问题，几乎一天一夜没有合眼，我问他为什么不好好睡一觉再来，他嘿嘿一笑，原来他之前遇到一个相机挂死的问题，当时没有找到问题原因，这“折磨”得他睡不踏实，刚才迷迷糊糊想到一个点子，所以就过来试试，这样回去也能睡得香点。还有我们团队唯一的女生周同学，与湖南卫视负责项目的另一位女生王老师在这期间建立了深厚的友谊，她们俩强强联合，充分发挥细心协调能力强的优势，各自带领团队攻克一个个问题，让我们这群人佩服不已，我们背地里都称呼她们“女王大人”。不仅前方交付团队在调测上奋力拼搏，后方的支援团队也在马不停蹄地进行验证方案以及版本测试，为我们提供“炮火”。终于，原计划20天的验证任务，5天内我们就全部通过了验证。
就如闯关模式一样，9月12日，我们终于进入真正演播场地进行部署和彩排了。留给我们的时间不多了，但基于之前扎实的准备和验证，我们对整个系统和已知的各种问题都有了清楚的了解和认识，一切都在计划中有序进行。128台摄像机同时对舞蹈演员进行360度实时拍摄，将动作高潮定格，接下来通过服务器对采集的上百路视频信号进行处理，实现在任一时间点上对被拍摄对象的多角度观察，甚至可以做到慢动作和镜头的推拉效果，观众可以看到舞者起跳、腾空、定格、下降、落地等一系列画面，达到“自由视点”的观看享受。这是我们所有幕后工作人员期待达到的效果。
“彩虹”与二维码
第一期节目录制下来，还比较顺利，舞者们纷纷在我们的镜头前展现自己最强的实力、最美的舞姿。我们心里稍稍松了口气，节目组也找到我们，愉快地交流了一小会儿，他们提出了新的期待：第一期录制下来只能生成一种精彩瞬间模式的单一功能，希望我们的方案可以提供更多的编辑变化。
这意味着什么呢？其实节目组是希望不同舞蹈的“风暴时刻”可以有不同的角度，对于我们来说，就是相机系统要根据不同的舞蹈，升降不同的高度。这样的需求不是没有道理的，参加节目的选手舞种不同，展现方式也不一样，比如中国舞中的“云里前桥”，舞者仿佛云中仙子，一个前空翻后轻盈落地，而在空中翻转的过程如果能用俯视的角度，会更加具有视觉冲击力；而有些舞蹈有一些地面动作，或者撒花瓣，则由下往上的视角角度更好，为了能给观众更加极致的观赏体验，不同的舞蹈如果能用不同的风暴时刻角度，则能拥有最优的观看效果。
舞台上的“彩虹”
但是实现起来可太“南”了！“风暴时刻”短短几十秒时空凝结瞬间的背后，是我们背后花上两三个小时的调试时间：128台摄像机组成的“彩虹苍穹”横跨在舞台上，需要对准舞台同一个位置进行标定，并利用我们的焦点处理算法让“风暴时刻”看起来“丝滑”。之前我们的系统是预先固定好的，有非常充分的时间进行标定动作，但是如果在拍摄录制过程中起起落落，这道“彩虹”上面搭载的128个摄像机将不可避免发生位移。如果不能确保所有相机的中心点统一，那可能会造成生成的“风暴时刻”图像有抖动，虽然可能只是几个像素的偏差，但是屏幕前的观众观看体验可就大打折扣了。
所以我们需要实现一个可以快速升降，并且能在限定时间内标定完成的“彩虹”，这样才能让“风暴时刻”锦上添花，同时不耽误节目的录制。那给我们现场标定的时间能有多久？我们问节目组。
得到的答案是：20分钟以内。
20分钟？！听到这个答案，整个团队都倒吸一口凉气，要知道之前我们标定一次需要3个小时，这也正是我们每天早上6点就来到现场布置的原因之一，从3个小时突然缩短到20分钟，我们觉得“不可能”，大家开会讨论，挠破脑袋也只能从多派人手这类治标不治本的方法出发，大家一度都在考虑要不要放弃这种“升级”玩法这样的想法了。
好在我们在迷茫中没有行走太久，大家决定从具体方案入手将整个标定流程分解开看，到底哪里花费的时间最多。我们发现在过去的标定流程里，标志物特征的选取还需要大量的人工手动操作，无法完全做到自动化，而随着摄像机数量的增加，这个过程所花费的时长占据了整个标定方案的90%以上。如何去除人工干预，将这个过程全自动化？还要保证相机在各个角度下都能取得足够多的特征信息？这就需要在标定物的设计上多下功夫，既要能体现标定点的全局唯一性，又要能将一些空间尺度信息带入进来；既要足够大，还要方便部署。
引入二维码也就是在这个时候被我们提出来。作为日常生活的“老朋友”，二维码几乎天天与我们打交道，如果能在标定物上设定好二维码，将大大提高效率，经过组内骨干和合作方专家几天密集的讨论和推演，初步确认了采用分体式标定塔的方案构想：我们在舞台上树立几根有二维码的标定塔，用来校准机位方向，通过二维码的“指引”确保128台摄像机对准舞台中心。这个方案理论验证是可行的，我们和节目组一介绍，大家都很兴奋，觉得希望很大：“难度很大，但是我们相信华为的技术和实力！”受到客户的信任自然心里是高兴的，但是大家心里还是打鼓。
清晨的时空凝结系统
“风暴”降临
“风暴”能不能成功降临？
我们的理论开始接受实践的检验了，在节目录制现场，我们按前期的演练按部就班进行：
钢架抬起！1分钟OK；
启动云台粗标定！3分钟OK；
标定塔摆放、拍照、撤离！已经过去10分钟啦！
这时标定程序开始进行计算，现场调度也在等待我们完成的消息，时间一分一秒地过去，我在后台盯着屏幕，看着一个个检查项完成，进度100%！
15分钟！只用了15分钟！128个摄像机成功标定完成，齐齐对准了舞台中心，接下来生成的标定文件上传到处理服务器，比预计还提前了5分钟！大家终于长舒了一口气，可以自由移动的“彩虹”终于不是想象了！客户也在旁边忍不住鼓起掌来，与我们一起欢呼起来。
说来这里还有个小趣事，节目录制期间，我们抱着标定塔放在舞台上调试相机高度的时候，现场观众一个个屏气凝神地看着，以为我们要表演什么新奇的舞蹈呢！当然我们的“表演”也没有让他们失望，通过几根标定塔，我们成功地让横跨舞台的相机系统快速地移动、标定。从此，128台摄像机组成的半圈状相机系统如同一道彩虹苍穹，可以灵活转动30度、45度、60度……随着这道“彩虹”升起落下，这种蝶式的拍摄方法可以让屏幕前观众的视野犹如坐上过山车，拥有仰视、平视、俯视各种各样视角，正是如此，观众才能更好的欣赏舞者胡沈员打开伞的一刹那，红色花瓣倾泻而下的瞬间夺目；hello dance的多人舞蹈精心设计的空中别致造型；风暴时刻里一袭红裙的李艳超与空中飘零玫瑰花瓣的完美交融……
有了自由移动的相机系统的助力，接下来就是我们的show time了。在现场的每一位舞者表演完毕后，相机系统采集的画面经过我们算法的处理，5分钟以内就可以生成“风暴时刻”在现场大屏幕播放，让观众欣赏，供现场评委点评，决定是否推杆。每一次当我们生成的精彩瞬间在现场大屏幕进行回放的时候，都是现场气氛最热烈的时候，大屏幕上每位舞蹈演员“风暴时刻”以360度立体的时空凝结方式展现，也能让观众更加直观领略到舞蹈的魅力，就如刘迦的单手支撑，他的脚尖绷得笔直；李响在空中的一字马，完全和地面平行状态等等细致的画面。
正式录制现场
10月10日，第一期《舞蹈风暴》播出，我印象很深，节目刚开始不久，主持人何炅就告诉所有舞者“这套系统是我们国家的华为专门为舞蹈风暴研发的！”在场所有舞蹈演员都鼓起掌来，都在说“中华有为”！过往曾经的辛苦在这时候得到最好的回馈，我的内心被自豪与骄傲塞得满满的。
再度来临的“风暴”
2021年除夕夜，我领着全家坐在电视机前，又一次激动万分又充满期待着，这一次我等待着央视春节联欢晚会直播的开始。
一个月前，《舞蹈风暴》已经圆满落幕，不少选手都为这个全新的舞台点赞，比如冠军谢欣就在采访时认为在这个舞台上是完全不一样的体验，“每一面都像是镜子，能看到自己动作每一个角度的细节。”舞者陈镇威也觉得风暴时刻“可以让观众更好地主抓舞者和编导想要传达给观众的细节，从表情到脚趾尖”。与横空出世惊艳亮相的第一季一样，第二季节目延续了辉煌，在豆瓣评分也高达9.2分，获得了观众的认可和喜爱。作为节目技术团队的一员，与有荣焉。
虽然节目结束，但我们空间视频团队依旧在路上，迎接更大的挑战——这一次我们的“风暴”降临在了春晚舞台上，为了这次一年一度的国家级文艺演出，我们在湖南卫视积累的经验充分发挥的同时，还在画质、部署标定时长等方面为了匹配国家级的画面表现力要求进行了大幅度的升级。由于采用了精彩瞬间插入直播信号的方式，我们并不清楚会有多少精彩瞬间会被春晚导演采用，所以心里还是隐隐怀着一丝忐忑。
当武术节目《天地英雄》开始后，一个个熟悉的精彩瞬间画面出现在电视屏幕上面，无论是金刚腾空、飞鹰展翅、吊发腾空等高难度动作，都通过自由视角环视的方式在电视上完美呈现，随着吴京打拳的动作播放完成，我们8段精彩瞬间在节目中被采用了6个。在那一刻团队的群组里大家沸腾了，看着家人们自豪的表情，以及微信上刷屏祝贺的信息，我深深体会到了凭着技术上春晚的成就感，这场“风暴”，还可以刮得更久、更猛一些！
春晚留念
这些精彩的“风暴”时刻让我们看到了未来更多的可能，当5G来临、VR眼镜越来越普及、AR眼镜和全息显示技术快速成熟的今天，只有掌握了空间化视频生成技术，才能将正在快速扩大的网络带宽填满。经过了这些“风暴”的成功交付，我们对于AR&VR可以改变视频体验的信心又增加了一分，我们也清楚看到，目前的工作还只是万里长征的一小步，视频的体验势必越来越需要虚实融合和全空间范围内的完全自由的交互式观看，还有很多更加困难的技术壁垒等待我们去攻克。
还记得《舞蹈风暴》节目主持人何炅在节目最后的时候说：“为什么我们尊重舞者？是因为舞者每一点每一滴的成就，都是靠背后辛辛苦苦的努力来完成的。其实每一个行业都是这样，这个节目用舞者的荣耀来赞美每一个在不同行业里面的踏踏实实努力的朋友。”对于我们团队来说，每一次“风暴”之旅都是刻骨铭心、意义远大的旅程：我们的技术和产品有了在大众面前精彩亮相的机会，我们身心得到洗礼，而这仅仅是个开始，我们一起期待下一场“风暴”的完美降临！
----------
本文经作者授权转载，如需转载需联系作者授权
