NVIDIA Omniverse 组成

黄仁勋：“Omniverse与游戏引擎大不相同，它是面向数据中心规模设计的，有朝一日有望能达到全球数据规模"

一、五大组件

Nucleus、Connect、Kit、Simulation和RTX Renderer

 

二、生成交互式AI虚拟形象的技术平台:

NVIDIA Omniverse Avatar （能够连接NVIDIA在语音AI、计算机视觉、自然语言理解、推荐引擎和模拟方面的技术）

其语音识别基于NVIDIA Riva、

其自然语言理解基于Megatron 530B大型语言模型、

其推荐引擎由NVIDIA Merlin提供、

其感知功能来自用于视频分析的计算机视觉框架——NVIDIA Metropolis、

其虚拟形象动画由AI赋能的2D和3D面部动画和渲染技术——NVIDIA Video2Face和Audio2Face驱动。

 

三、合成数据生成引擎

NVIDIA Omniverse Replicator（能够生成用于训练深度神经网络的物理模拟合成数据）

用于承载自动驾驶汽车数字孪生的虚拟世界——NVIDIA DRIVE Sim

用于可操纵机器人数字孪生的虚拟世界——NVIDIA Isaac Sim

 

摘录：

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　搭上了元宇宙风口的Omniverse：谁说虚拟世界的未来一定是梦？

       几个月之间，元宇宙成了一个热词，但除了风口、泡沫之外，元宇宙难道只是一个梦境吗?一种观点认为，元宇宙被定义为一个虚拟的现实世界，它像极了一个现实的、可创作的梦境。从体验来说，元宇宙更多地强调真实性和体验的可获得性。在这几个特点之中，就隐约藏着英伟达Omniverse的影子。我们再换一个角度看还会发现，关于元宇宙的未来，也隐藏在Omniverse的发展之中。

　　从实到虚

　　元宇宙在今天像极了曾经的互联网，人们都知道它是一个发展方向，也会颠覆我们的生活，但当它只是一个虚拟的网络时，它所引发的最终只是一场泡沫。因此元宇宙绝不可能只是一个梦想，而必须经历一个由实到虚，再由虚返实的历程。这同样像极了Omniverse的发展。

　　Omniverse是一个实时协作模拟平台，这个虚拟工作平台被称为是“工程师的元宇宙”，这源于它为Neal Stephenson所说的Metaverse虚拟时代拉开了序幕。借助Omniverse，创作者、工程师和研究人员可以在一个互连的虚拟世界中进行协作。

　　今天，Omniverse瞄准了分布于全球的4千万3D设计者们。11月9日，英伟达CEO黄仁勋在GTC大会上介绍：“Omniverse与游戏引擎大不相同，它是面向数据中心规模设计的，有朝一日有望能达到全球数据规模。”

　　由于Omniverse的用户数量越来越庞大，越来越多的设计公司选择为它开发联接接口或扩展应用。Omniverse的门户是USD(Universal Scene Description，通用场景描述)，它本质上就是一个数字虫洞，将人和计算机连接到Omniverse，并将一个Omniverse世界连接到另一个世界。设计公司就是通过获取USD的支持，才让他们的扩展应用和联接接口融进这个虚拟世界之中。

　　Omniverse的成功有其必然性。美国的Enterprise Technology Research(ETR)在去年9月份调查了1200名不同行业的首席信息官，最终 预计在2021年，全世界将会有34%的员工永久在家办公，而疫情前，在家办公的员工数量仅为16.4%。隐藏在这个变化数字背后的还有一个事实，这就是居家办公的改变仅仅是疫情带来的一个比较明显的变化，实则是，我们需要逐步跨越物理空间的限制，找到一个新的平衡 ，也就是需要一个产品可以既做到无需真实物理空间的跨越也能“触手可达”。而对于设计师们来说，Omniverse恰好就是这个产品。

　　Omniverse有五个主要组件，Nucleus、Connect、Kit、Simulation和RTX Renderer，但这只是Omniverse软件初期的面貌，更多应用会在这五大基础之上被设计出来。这让Omniverse变成了一个动态的存在。

　　在本届GTC上，英伟达发布了用于生成交互式AI虚拟形象的技术平台——NVIDIA Omniverse Avatar。Omniverse Avatar能够连接NVIDIA在语音AI、计算机视觉、自然语言理解、推荐引擎和模拟方面的技术。在该平台上创建的虚拟形象是具有光线追踪3D图像效果的交互式角色，可以看到、说话、谈论各种主题，以及合理地理解表达意图。

　　Omniverse Avatar为AI助手的创建开辟了道路，而且可以根据各个行业的需求轻松定制。AI助手可以帮助处理数十亿次日常客户服务互动，比如餐厅订单，银行交易，个人预约和预订等，带来更多商机并提升客户满意度。

　　Omniverse Avatar的本质是一系列技术的集合，其语音识别基于NVIDIA Riva、其自然语言理解基于Megatron 530B大型语言模型、其推荐引擎由NVIDIA Merlin提供、其感知功能来自用于视频分析的计算机视觉框架——NVIDIA Metropolis、其虚拟形象动画由AI赋能的2D和3D面部动画和渲染技术——NVIDIA Video2Face和Audio2Face驱动。这些技术被集成在一个应用，并使用NVIDIA统一计算框架进行实时处理。这些技术被打包成可扩展、自定义微服务后，能够通过NVIDIA Fleet Command在多个地点安全地部署、管理和协调。

　　还有一个事实不容我们忽视，这就是Omniverse的用户数量和生态正在成长为一棵“大树”，这点从Omniverse Avatar的发布就可以看出：早在正式发布之前，Omniverse公测版用户现已超过7万人。

　　Omniverse之所以能有今天，完全得益于皮克斯的USD。而我们知道皮克斯在10多年前就开始构思USD，并在2016年发布了USD的开源版本，为越来越多的行业和应用提供了丰富的通用语言。Omniverse确实不是一天建成的，在以后的日子里，它抓住了设计者关于低延迟的诉求，因此NVIDIA为USD生态系统贡献出了“同步复制系统”。应用程序员可以使用标准USD API来查询一个场景并随意更改。系统会追踪所有的变化，而不需要程序员为此耗神。更为重要的，是Omniverse也和当初的互联网一样：适用所有的人，无论是个人用户，还是企业用户，都可以找到适合自己的版本。

　　由此可见，Omniverse在由实入虚这个过程中，已经取得了成功。

　　从虚到实

　　在互联网发展的早期，无论互联网领域的先知们如何描述，多数人可能对于互联网会主导他们的生活还是不以为然。直到电商兴起，互联网开始颠覆人们过往的生活，人们才想相信：先知们当初的描述，只不过是冰山的一角。换句话说，互联网显示它的威力，是从脱虚就实开始的。

　　尽管Omniverse在一开始就被称为是“工程师的元宇宙”，因而极具实用价值，但仔细观察它的发展历程，我们还是会发现，Omniverse从一开始就被赋予了更多价值，因此对它来说，脱虚就实是一种必然会完成的使命。

　　11月9日，英伟达发布了NVIDIA Omniverse Replicator，这款性能强大的合成数据生成引擎能够生成用于训练深度神经网络的物理模拟合成数据。

　　NVIDIA同时发布了两个用于生成合成数据的应用，这两个应用是使用该引擎实现的首批成果。它们分别是用于承载自动驾驶汽车数字孪生的虚拟世界——NVIDIA DRIVE Sim和用于可操纵机器人数字孪生的虚拟世界——NVIDIA Isaac Sim。使用这些数据构建的自动驾驶汽车和机器人可以在一系列虚拟环境中掌握技能，然后再应用到物理世界中。

　　这两个Replicator应用使开发者能够以人类无法做到的方式引导AI模型、填补现实世界的数据空白，并标记真值数据。在这些虚拟世界中产生的数据可以涵盖各类不同场景，包括在现实世界中无法经常经历或安全体验的罕见和危险情况。

　　如果我们从更早的时间就开始研究 Omniverse，就会发现NVIDIA Omniverse Replicator并不是新成果，而是经历大量用户应用之后的成熟技术。宝马公司就利用Omniverse建立了数字孪生中心，首次成功模拟了工厂，让全球31家厂商以3D形式实现了协同。借助于NIVIDIA的工具，宝马可以安全协调机器人和其他工具，实时监控复杂的制造单元，以无线方式更新软件，启动机器人任务，以及远程操作。

　　真实世界数据是昂贵、费力、需要人工标记的，它容易出错且不完整，而Omniverse Replicator扩展了这些数据，该引擎能够创建大量、多样化的精确物理数据以满足自动驾驶汽车和机器人开发者的需求。这样的说法一点也没错，因为宝马公司就曾应用这些技术缩短规划时间，并提高灵活性和精确度，最终将流程效率提升30%。

　　显然，英伟达在Omniverse方面早就有了更为深入的布局。Omniverse的背后有着英伟达强大的算力支撑，而Omniverse的快速普及得益于超过一千万的RTX用户群。说得更为具体一些，这些用户包括了爱立信、KPF、WPP、DNEG这样的知名企业。我们甚至可以由此说：Omniverse企业版的应用已经遍布各地，并且Omniverse的数字孪生技术已经在帮我们解决掉一些重大的挑战。

　　显然，Omniverse再次由虚返实的过程，证明了自己的价值，也从一个侧面证明了元宇宙的潜力价值。把时间往回拨一点，我们就会记起黄仁勋在今年秋季场对Omniverse的未来期待：英伟达将建立一个E-2(Earth Two，地球二号)，这是一个地球数字孪生模型，目的是模拟和预测长期的气候变化。到此，你还能元宇宙没有在真地落地吗?