爆款AR游戏如何打造？网易杨鹏以《悠梦》为例详解前沿技术
本文来自网易云社区。
7月31日，2018云创大会游戏论坛在杭州国际博览中心103B圆满举行。本场游戏论坛聚焦探讨了可能对游戏行业发展有重大推动的新技术、新实践，如AR、区块链、安全、大数据等。
网易AR游戏生态合作负责人杨鹏表示，传统游戏模式趋同，AR游戏将是下一个重要风口
网易AR游戏生态合作负责人杨鹏做了《从网易悠梦看AR前沿技术》的主题演讲，分享了网易基于AI技术和硬件基础所打造的爆款游戏《悠梦》，并详细了该游戏的AR游戏引擎、AR SDK和洞见内容浏览器等技术方案，助力《悠梦》成为年度AR游戏代表之作。
杨鹏表示，AR是新时代的信息呈现基础设施，与3D内容产业息息相关，其中游戏领域更是AR的最大应用场景之一。在传统游戏模式下，游戏世界和现实世界是严格割裂开来的，而在AR模式下，两者将进行密切融合。但是虚拟世界与现实技术究竟能够结合到什么程度？他指出，这很程度上依赖于硬件及计算机视觉等AI技术的发展。
目前从整个产业链来看，国内外巨头也都意识到AR将会是下一个产业革命，纷纷从芯片层、OEM层、系统层布局这一风口。
• 芯片层推出针对的AR芯片及AR优化的芯片；
• OEM如苹果，三星，华为，小米这些OEM也在不断更适合AR的硬件；
• 系统层推出相应的AR底层算法，方便开发者开发AR的应用。
因此，网易乘势而为，积极探索AR价值，打造出了AR游戏爆款《悠梦》。《悠梦》是一款由网易盘古工作室与网易洞见联合开发的AR解谜类游戏，给游戏玩法带来新的可能和新的体验模式。杨鹏具体阐述道：
• 通过洞见AR平面检测技术将游戏场景投射到现实空间中，让玩家可以自由视角领略到浮空塔、白墙青瓦、湖底世界，灿烂星空等精美的3D游戏场景，仿佛置身场景之中，如梦如幻，非常契合“梦境”的主题；
• 游戏巧妙地利用了光照估计来估测当前环境条件，从而极大提升游戏画面的真实性，产生亦真亦假的视觉冲击；
• 结合AR 6DOF自由视角、空间定位的特点，采用了诸如拉近看微观、拉远看全局的方式来观察游戏场景，取代了传统手机触摸按键双手夹捏的方式，操作方式更为自然简单；
• 采用巧妙的美术手法，让“梦境”与现实自然融合，呈现别样意境。比如游戏中的关卡地图逐步从桌面中显现，移动手机时消失的场景部分出现化为灰烬的特效；
• 后续诸如人脸识别、手势识别、肢体识别等技术的加入，会使得游戏的AR交互方式变得更加多样化......
最后杨鹏提到，《悠梦》只是他们在AR游戏领域的小试牛刀，包括研发AR游戏引擎、AR SDK和洞见内容浏览器等等。目前，团队仍在积极探索更多AR+游戏的新颖玩法。后续，他们会去尝试与不同游戏类型的结合方式，甚至和非游戏部门合作，通过AR小游戏的方式来做运营和市场营销，方便开发者更好地开发和分发AR内容。
以下是杨鹏演讲实录：
大家好！今天很高兴能够分享网易在AR的探索，以及我们在游戏应用场景的一些研究。
相信大家对于AR技术并不陌生。AR是一种新时代的信息呈现方式，目前在广告营销、商品展示、旅游、工业、医疗等领域，都有着广泛的应用场景。AR本身跟3D内容产业息息相关，所以毫无疑问，游戏肯定是AR最大的应用场景之一。在传统的游戏模式下，整个游戏世界和现实世界是割裂的关系，但是在AR游戏模式下，游戏世界和现实世界就开始进行密切的结合。而这个融合的程度是非常依赖于整个硬件环境的感知能力，以及AR技术的发展程度。
最近几年，AR技术发展非常迅速，主要是两个方面的原因：第一是硬件性能不断提升，诸如像IMU传感器，它的精度不断提升，让硬件环境感知能力进一步增强。第二是随着深度学习算法的引入，整个人工智能方面的技术得到了很快速发展，比如像LBS、图片识别、平面识别、3D物品识别和跟踪，以及手势识别、肢体识别、人脸识别等等人工智能技术得到了很快的发展，这些技术为AR技术提供了有利的保障，为AR游戏的玩法也打下了坚实的基础。两年前《阴阳师》召唤玩法还要依赖于2D图片的识别方式来进行游戏的体验。但是在一年前，随着苹果推出AR KIT，以及我们做了很多研究，《悠梦》得以用平面识别的方式来直接呈现AR的效果。所以可以看到AR和AR技术在近几年的发展速度也是非常快的。
从整个产业链上来讲，大家也都意识到AR将会是下一轮革命性的技术，纷纷布局这一风口。针对这个风口，各大科技巨头也纷纷进行布局：从芯片层来讲，一些芯片厂商推出针对的AR芯片及AR优化的芯片；从系统层来看，苹果去年推出了AR KIT1.0，今年也继续迭代推出了2.0的算法。谷歌在AR上也做了很多的研发投入，推出了ARCORE，也相应做了版本的迭代，具有更多的能力。系统层是从底层算法方面不断完善技术，给开发者开发相应的AR应用和AR内容提供更多的便利；从OEM层来讲，它们为了推动用户不断地升级换代硬件设备，也纷纷推出了主打AR卖点的手机，比如去年苹果发布的iPhoneX手机，即是专门针对AR推出的一款手机。苹果推出iPhoneX以后，安卓设备也纷纷跟进，推出了相应的设备，比如三星系列也发布了AR摄像头。国内华为也推出了主打AR拍照或者AR能力的手机，并且推出了华为Eegine，针对系统层做相关优化。
所以从产业链来讲，大家都在为AR这件事情搭建基础设施平台。对于AR来讲，会带来更多的一些机会，尤其是AR跟游戏的结合，会带来更多的可能。
从游戏产业链来讲，目前传统的游戏模式同质化程度非常高，竞争非常激烈，而玩家口味是非常挑剔的，这对于中小型的开发团队来讲，他们在竞争激烈的市场上很难突围。这时候就急需一些新的技术和新的玩法引入，而AR正当其时，能够给游戏带来全新的游戏体验模式。
网易本身是一家坚持精品内容生态的公司，我们深耕游戏领域非常多年，积累也非常深。我们已经意识到了AR游戏将会是游戏产业接下来非常大的一个风口，2015年就在人工智能事业部成立了AR部门，主要做一些底层技术的研发，并探索AR和各种应用场景的结合方式。我们也和游戏很多工作室通力合作，探索AR在游戏应用场景的一些应用。其中《悠梦》就是我们和盘古工作室一起探索落地的一款典型的产品，《悠梦》是一款风格比较唯美的纯AR类游戏，一开始是我们内部做的迷你项目，逐步从迷你项目立项。在过程中AR团队提供了AR核心玩法的策划，还提供了AR游戏引擎，以及相应的技术支持，帮助这款游戏完成整个产品的研发。后续这款产品上线之后就获得了苹果两次全球推荐的机会，而且入选了苹果应用商城2017年度精选产品。对于网易来讲，我们觉得这款游戏是在AR领域非常具有里程碑式价值的一款产品。
接下去，我将结合《悠梦》这款游戏来分享我们在AR游戏领域的探索。
首先，AR是一种新奇视觉的表达形式，它是一种非常适合展示性的功能，譬如角色展示和场景的展示，可以让游戏克服屏幕的限制。《悠梦》通过AR平面检测技术，将游戏场景投射到现实空间里面，让玩家可以拿着手机以自由的视觉领略到浮空塔、白墙青瓦、湖底世界，仿佛置身场景之中，这样代入感非常强，另外视觉表现也非常华美，这里面用到一些光照估计的技术，能够估计当前的条件，大大提升游戏画面的真实性，产生亦真亦幻的视觉冲击。
但是我们认为AR绝对不仅仅是一种展示的工具，目前市面上很多AR游戏也只是把AR作为一个展示性的工具，就算一场非常爆款的AR游戏，也只是把AR作为一个附加性的功能，我们认为这并没有发挥出AR真正的价值。我们基于对AR价值的深度理解，和盘古工作室共同策划了《悠梦》这款产品，首先我们结合AR的特点，选择解谜类的游戏作为我们尝试的方向，这主要有两方面的原因，一方面AR特性非常适合视觉差空间类的解谜游戏，第二是AR对信任要求比较高，目前还不太适合长时间打开摄像头体验的形式。
所以我们觉得应该是比较适合解谜类等轻度的玩法，以世界误差的方式，来包装传统的解谜类游戏，形成横看成岭侧成峰的全新体验。
这张图展示了视觉差玩法的原理。玩家可以在游戏场景里面看到3D模型和画里面相对的位置，用户从不同位置观察，模型和画的角度不一样，玩家必须拿着手机在空中找到一个合适的角度，让你的模型和画里面线索图能够贴合在一起，就可以完成整个解谜的过程。在过程中玩家需要移动他的设备，去寻找合适的角度，来完成整个游戏。
不仅是AR的游戏玩法设计上，我们觉得AR也是需要有它结合AR特点的交互方式。《悠梦》结合了AR 6DOF自由视角、空间定位的特点，设计了一些全新的交互方式，取代了传统屏幕按键的方式，让操作变得更加自然和简洁。因为就像刚才提到的视觉差玩法，本质上用户操作只是移动手机在空间中去寻找合适的位置，来完成整个解谜的过程。同时通过AR形式将整个游戏场景投放到现实空间，用户通过移动手机，拉远的时候可以看到整个游戏场景，近看的时候可以看到游戏场景里面的一些微观细节。这是传统游戏模式所不能实现的一些效果，本质上也是基于6DOF空间定位的特点，能够实现的一些新颖的交互方式。
除了交互方式之外，我们认为在美术内容表现方面也要结合AR特点进行专门的设计，通过一些美术的手法，让虚拟游戏的内容跟现实的内容更加紧密无缝地连接在一起，而不会显得非常突兀。因为很多游戏它只是将一个虚拟的形象放到了现实的空间，现实和虚拟内容是相互彼此割裂的状态。我们这个时候就需要采用一些巧妙的美术处理的手法，或者技术美术的手段，来让虚拟和现实实现完美的贴合。
上面是几个案例，一个来自于《悠梦》，玩家扫描桌面之后，《悠梦》的关卡地图从桌面上逐步显现，消失的场景部分则出现化为灰烬的特效。第二种就是传送门的方式，以传送门的方式实现真实世界和虚拟世界的一种无缝切换，给用户带来一种非常神奇的感觉。第三个展示的是基于现实环境贴图处理的方法，用户扫描可以以贴图的方式将纹理信息叠加到虚拟模型上面，通过这种方式可以让真实的物理环境和虚拟模型有一个更好的结合。
《悠梦》只是网易AR在游戏领域的一个小试牛刀，我们现在正在跟各个游戏工作室探索更多AR和各种不同品类游戏玩法的结合，也期待以AR方式改变传统的MMORPG、MOBA、FPS等各种传统游戏类型的玩法，来产生出更多新颖的玩法。
不光是在游戏领域，我们和网易很多非游戏部门也做了一些尝试，利用AR小游戏的方式，来改变他们传统的运营方式和市场营销方式。比如上图第一个展示的是考拉三周年上线的AR娃娃机小游戏，用户扫描平面之后可以将娃娃机召唤在你的眼前，拿着手机从不同角度去观看这个爪子到底对准下面哪一个娃娃。通过这种方式，让用户有一个更真实的抓娃娃体验。而它也有运用到AR的空间感，这是在普通游戏模式下比较难实现的一个特点。第二个是我们和香积寺举办的一个市场营销活动，当时我们用AR放孔明灯的形式，让整个市场营销活动变得更加有趣味性，用户可以在界面输入他想表达的愿望，这个愿望会贴合到整个孔明灯模型上面，在夜幕下可以看到非常唯美的释放孔明灯的效果。这样的一些小游戏，也可以放入到游戏里面，作为新颖的游戏运营方式，甚至是市场运营的一些新的手法。
除了在游戏这块，网易AR部门还做了很多技术方面的研发，同时也为了方便游戏开发团队能够更好地开发游戏和相应内容，我们提供了一些产品来帮助他们，比如自研的AR游戏引擎、针对原生应用开发的互联网APP、网易洞见客户端等等。
第一，AR游戏引擎主要是提供给游戏的开发团队，帮助他们快速获取AR的能力，帮助他们去实现想要的AR玩法。AR游戏引擎是支持IOS和安卓双屏幕。第二，我们在底层算法做了很多优化工作，让它变得稳定、低功耗，同时也支持市面上主流的3D引擎的接入，帮助它们实现AR的玩法。第三，AR游戏引擎底层兼容ARKIT、ARCORE、华为AR Engine，帮助AR游戏实现最大机型覆盖，让游戏AR玩法覆盖更多游戏玩家。
这是游戏引擎所具备的一些能力，包括图片识别与干扰，平面识别与跟踪，环绕市跟踪以及光照恢复能力。光照恢复做一个简单介绍，大家看到的这是在亮灯情况下，虚拟模型是一个亮着的状态，但是关掉灯光之后，这个地球仪模型显示的是一个暗的状态，这个可以通过AR游戏引擎实现的效果。后续我们会把更多的人工智能能力加到AR游戏引擎里面，包括人脸算法，还有肢体识别的算法、手势识别的算法，帮助游戏实现更多游戏玩法和交互。
我们这个AR游戏引擎不光支持了《悠梦》上市和覆盖各大安卓渠道，同时也支持了三少爷的剑和初音速这个游戏。目前我们也在持续跟进，会陆续跟大家见面的。
网易洞见客户端定位的是AR内容浏览器，游戏开发者可以基于洞见开发工具，开发一些趣味AR小游戏，再来做一些相应的分发。另外，我们还有游戏AR贴纸的功能，用户可以基于洞见的开放平台，将它们已有的3D资源，无需任何编码即可以实现3D内容快速AR化，通过洞见平台、甚至接入洞见ARSDK平台做相应的分发。还有另外一款产品是网易洞见AR SDK，主要是针对于一些互联网的应用，去帮助它们实现很好的AR效果。其中非常大的一个模块，我们会跟一些相机类APP合作，帮助它们实现AR拍照的功能，帮助游戏开发者基于我们开发的AR内容，分发到更多相机类的平台。通过这种方式可以让玩家和虚拟角色进行没有门槛地录制有意思的视频，通过社交平台做一些分享，从而产生病毒式传播的效果。
网易AR部门之前更多是赋能于网易游戏的部门，我们后续也会逐步开放，和更多网易体系外的游戏开发者进行合作，用我们的技术赋能更多游戏开发者，一起探索AR在游戏领域的应用。
以上就是我的分享，谢谢大家。
