乘风破浪，遇见未来元宇宙(Metaverse)之Microsoft布局元宇宙平台Microsoft Mesh，基于混合现实和微软Azure云的协作平台
什么是Microsoft Mesh
Microsoft Mesh通过混合现实应用实现了在任何地方、任何设备上的存在和共享体验。
Microsoft Mesh是微软开发的一个协作和通信平台。Engadget将其描述为 "该公司雄心勃勃的新尝试，即在多种设备上统一全息虚拟协作，无论是VR头盔、AR（如HoloLens）、笔记本电脑还是智能手机"。
感受存在
用新的深度和维度来连接。用目光接触、面部表情和手势进行交流。你的个性随着技术的消逝而闪耀。
用目光接触、面部表情和手势来吸引人，使你的个性得到彰显。
- 全息投影
通过HoloportationTM，在混合现实中把自己投射成最逼真、最逼真的自己，进行互动，就像你亲临现场一样。
- 头像
定制你的虚拟外观，以代表你喜欢的自己。
共同体验
数字智能来到了现实世界。查看、分享和协作持久的3D内容。这种共同的理解点燃了思想，激发了创造力，并形成了强大的纽带。
在你的世界中移动，在你需要的时候和地点获得相关的数字信息。这种流动性加速了决策，加快了问题的解决。
- 虚拟合作
同事们--不在一个时区工作--通过数字方式走到一起。他们的共同理解有助于他们更快地审查数据并作出更明智的决定。
- 在任何地方一起培训
由于全息传输、全息共享和可视化，同事们可以复制现场学习的偶然性--无需旅行的时间和费用。
- 获得远程专业知识
专家们可以看到其他人的观点，并叠加背景数据以确保共同的理解。这是一种更好的解决问题和共同做出决定的方式。
- 在3D中共同设计
当团队成员使用多种设备参与设计审查时，他们的想法和创造力得到了充分的发挥。不管是亲临现场，还是通过全息投影，同事们都可以实时合作。
从任何地方连接
享受在HoloLens 2、VR头盔、手机、平板电脑或PC上访问Mesh的自由--使用任何支持Mesh的应用程序。
- 手机
在任何由Mesh支持的应用程序上保持连接并参与3D。你可以使用你的iOS或Android手机以及平板电脑，当你在旅途中。
- HoloLens 2
用体验最佳的Mesh with HoloLens 2。凭借其身临其境的混合现实功能，你可以在你工作的任何地方舒适地与他人联系和共同创造。
- VR头盔
使用VR头盔在Mesh的虚拟空间中与他人会面、分享和工作。
- 个人电脑
使用你的个人电脑来参加Mesh-powered会议和设计会议。
隐私和安全
保护您的隐私是我们的首要任务。你拥有并控制你的数据。
有了Mesh，你将受益于企业级的安全，并得到世界各地组织的信任。
体验工具
Mesh for Teams
通过个性化的头像和身临其境的空间，以一种存在感进行连接和协作。通过新一代的2D和3D会议体验，激发创造力，促进偶然的联系。
Mesh App for HoloLens
当你分享和注释在会议之间持续存在的内容时，与同事联系并实时进行共同创作。
ms-windows-store://pdp/?productid=9p64lj74ngw0
Microsoft Mesh App for HoloLens 2 enables a feeling of presence and shared experiences from anywhere. Interact as if you’re face-to-face – even when you’re not. You’ll see 3D content that’s persistent and can be collaborated on spatially. This mutual understanding ignites ideas, sparks creativity and forms powerful bonds.
AltspaceVR
使用AltspaceVR举办会议、市政厅和工作集会，这是虚拟会议的首要场所。
ms-windows-store://pdp/?productid=9NVR7MN2FCHQ
AltspaceVR is the premier place to attend live shows, meetups, cool classes, and more with friendly people from around the world. Experience a wide variety of events where you can learn, laugh, and gather with people on every major VR headset. Attend hundreds of community events every week like: Open Mic Night, Improv Comedy, Meditation, Current Events, LGBTQ+ Meetups, VR Church and more. Easily start your own meetup, show or class and discover the next frontier of entertainment and community.
AltspaceVR 是用于实时混合现实体验的领先平台。 AltspaceVR 允许艺术家、创意者、品牌和企业轻松创建自己的虚拟事件。 此社交应用允许世界各地的人员通过真正的状态显示来进行实时连接和合作。 富有吸引力的头像，吸引眼睛联系人、空间音效和沉浸式虚拟环境，使人们在海洋的情况下也能与他们一起合作。 与经验、内容和社区的交集，AltspaceVR 是 live 音乐会、会议、喜剧节目、音乐节、技术讨论、团队会议、远程协作等方面的主要位置。
目前，AltspaceVR 允许在单个空间中 copresent 多组人员。 FrontRow 技术允许受众缩放到数千。
相关文章
2022年5月4日，微软开源1995年的Windows 3D Movie Maker，有望在Win11/10上运行
早在1995年，微软就发布了Windows 3D Movie Maker应用程序，旨在帮助孩子们学习3D动画的基础知识（也展示了Windows 95的图形功能）。自最初发布27年以来，应Twitter用户@Foone的要求，微软开源了该应用程序，让所有人都可以从GitHub下载它。
微软表示，该项目不太可能建立在现代硬件和软件之上，这意味着爱好者和开发人员将不得不修改代码以使其在Windows 10或Windows 11中运行。该公司计划使用Windows 3D Movie Maker归档存储库，并且鼓励每个人为各种古怪的实验分叉它。
开源该应用程序，包括第三方组件，如BRender，将极大地帮助爱好者维护微软的经典软件，使其在没有虚拟机和广泛黑客攻击的现代计算机上运行。
Windows 3D Movie Maker可以在预渲染场景中放置40个不同的角色，为他们分配各种动作，添加对象和音频效果，甚至使用麦克风录制自定义画外音。输出结果将是一部6FPS的1995年3D电影。
2022年5月2日，微软加入开放3D基金会，将推动开源3D引擎发展
5月2日消息，开放3D基金会发布公告，欢迎微软成为高级会员，以推动开源3D开发的未来。
开放3D基金会(O3DF)成立于2021年7月，其使命是为每个行业提供用于构建游戏和模拟的开源、全功能、高保真、实时3D引擎。
去年，微软通过GitHub向所有开发者提供了其游戏开发工具包。通过与开放3D基金会的新合作，微软正在扩大向所有人开放技术的承诺。
微软首席集团项目经理Paul Oliver将加入开放3D基金会管理委员会，支持基金会的承诺，即确保平衡的协作和反馈，以满足社区的需求。
微软加入后，开放3D基金会已有25个成员，包括Adobe、AWS、华为、英特尔等。2021年11月，开放3D引擎(O3DE)宣布了其第一个主要版本。最新的21.11版本允许开发者使用新的O3DELinux编辑器和引擎运行时创建3D内容。
什么是O3DE
O3DE是一个Apache 2.0许可的多平台3D引擎，最初由AWS开发，作为Amazon Lumberyard的完全开放源代码的继承者。该引擎包括一个端到端的开发环境，其中包括一个新的多线程逼真渲染器、一个可扩展的3D内容编辑器、一个数据驱动的角色动画系统和一个可视化脚本开发环境。作为Linux基金会的一部分，Open 3D引擎的贡献者和开发者将从云原生支持和协作中受益。
什么是O3DF
O3D基金会（O3DF）是容纳O3DE项目的伞式开源组织。O3DF可以被认为是CNCF或OpenJS的姐妹基金会，它们作为Linux基金会下的伞式组织，容纳了多个开源项目，并在成员社区中汇集资源以维持这些项目。O3DE是O3DF的第一个项目，但预计O3DF在未来会容纳多个项目。
2021年3月2日，微软新发布的Microsoft Mesh是什么
在昨天的Ignite 2021上微软发布了Microsoft Mesh，一个基于混合现实和微软Azure云的协作平台，可以通过各种设备体验混合现实，包括远程全息，共同设计等。会议上微软发布了一个无比炫酷的视频，展示了通过Mesh创建的科幻协同的效果，还邀请了阿凡达的导演卡梅隆和Niantic公司的CEO兼创始人John Hanke远程加入。详细的内容大家可以看看庄森写的这篇文章《微软Mesh发布！——基于Azure的协作混合现实平台》。
我在2016年的时候玩过微软第一台的混合现实产品HoloLens，当时还写过一系列的技术开发入门文章《HoloLens开发上手(1-7)》。我们在HoloLens第一个版本上做过一些相关的开发工作，后来发现体验上问题很多，无法满足客户需求，这个赛道最关键的是内容和设计，并不是我们的核心竞争力，所以果断中止。
时隔近5年，微软又一次在这个领域有了新的发布。搞市场的同学们又可以把这个叫做“协作云”或者“混合现实云”，反正所有的东西加个云字都让人觉得高大上起来。让我们来看看微软新推出的Mesh到底包含了些什么内容。
按照微软官网的介绍，第一个功能是“Feel Presence”，翻译成中文就是现场感受。包括两方面的能力，一个是Holoportation，全息传输：远程把自己的身体影像传输到现场。就好比今年春晚的那个讨论：“刘德华到底在不在春晚现场？”其实当时刘德华并不在现场，而是用的全息投影的技术。春晚用的技术当然是最顶级的，HoloLens的效果应该比春晚要差多了。
另外一个现场感受的能力叫Avatar，就是做一个虚拟的人偶，这个比较简单，就不多说了。
Microsoft Mesh第二个功能叫做“Experience Together”，我把他翻译成共同体验。和之前HoloLens MR相比，没有什么太多新鲜的内容，远程协作，培训，开会，共同设计等等，通过虚拟和现实混合的方式合作。
Mesh支持的设备除了HoloLens以外，还包括各种手机、平板、个人电脑和虚拟现实VR眼镜。
从技术上看，Mesh跟以前的混合现实架构没有什么实质性变化。底层是各种设备，微软支持的硬件设备包括HoloLens，所有能和Windows连接的虚拟现实设备，手机，平板和个人电脑等；中间的架构运行在Azure上，包括基础设施，图形，认证，计费，视频和音频，用户，会话，消费者和商业图形等中间件；在此之上的微软提供的核心能力包括沉浸现场，空间地图，Holographic渲染以及多用户的同步；再之上是SDK和UX的构建，顶层是各种应用，比如HoloLens Mesh应用，支持企业级应用的AltspaceVR，未来还会把Teams，Dynamics 365和合作伙伴的应用放进去。
根据我们过去在HoloLens上开发的经验，微软的Mesh是进一步整合了混合现实的体验，将会继续在企业应用，协作和游戏市场上作为新兴技术存在。
在这个赛道里，最重要的一点是：体验。我刚刚提到了春晚刘德华远程全息的效果，但这是顶级的全息投影设备，在远程的刘德华应该也在一个非常绚烂的，拥有各种摄像头采集设备的房间里，中间的传输也需要非常大的带宽顺畅传输才可以实现。HoloLens在民用设备里虽然已经贵到没朋友，但是硬件性能要想实现和春晚一样的效果是绝对没有可能的。如何在这样的平台上实现尽可能好的体验，是微软的Mesh平台需要关注的重点。
其次是内容，尤其是3D内容。我在研究HoloLens的时候，做了一些简单的开发，还为客户试水做了几个项目，历时1年多。最终得出的结论是：内容是成本最高的部分。作为码农，在做任何赛道选择或者投资方向选择的时候，不自己摸一下其实都是心里没底的。Mesh需要的是广泛的3D内容，支持文章里提到的企业应用，远程协作，远程培训，共同设计等等应用。在这一点上，微软没有正面回答这些内容从哪里来，显然他也希望合作伙伴帮忙一起实现。
最后我再提一下协作，Mesh这种新兴的技术代表了未来远程协作的新形式。由于设备和网络的限制，通过语音，视频等方式进行远程开会的体验依然和现场开会的体验有着比较大的差距，我们没有办法看到参会人员的微表情，姿势等，会导致在沟通的过程中出现信息偏差。这个能力当前并不在Gartner定义的会议解决方案里，当前会议解决方案关注的重点能力还在现有数字化软件和数字化办公空间的集成上。随着微软Teams在这个领域的快速发展，相信相关的能力也会被加入到会议解决方案里。
所以，Microsoft Mesh只是微软混合现实技术的一个小更新，还属于技术的小幅演进。如果没有设备性能的大幅提升，或者像Covid-19疫情这样的黑天鹅事件，还没有到广泛应用的质变阶段，我会继续关注这个领域的发展。
2021年3月12日，Microsoft Mesh混合现实平台，打开时空穿越之门
在微软年度IT盛会Ignite 2021上，混合现实平台Microsoft Mesh全新亮相，实现了“海内存知己，天涯若比邻”的美好愿景。无论是远程会议，还是远在地球另一端的音乐会现场，通过Microsoft Mesh平台，用户都能够获得如身临现场一般的体验。与此同时，微软还发布了两款基于Microsoft Mesh平台构建的应用，包括用于HoloLens的Microsoft Mesh应用预览版，以及支持Mesh的新版本AltspaceVR。本文编译自微软博客文章“‘You can actually feel like you’re in the same place’: Microsoft Mesh powers shared experiences in mixed reality”。
多年来，一直有人建议太阳马戏团的联合创始人Guy Laliberté采用虚拟现实技术，但这些技术手段始终无法与现场极具震撼的舞台表现力相媲美。而Microsoft Mesh的出现，让Laliberté正在重新考虑这个提议。
在微软Ignite 2021大会上，Laliberté通过全息瞬移（Holoportation）技术现身会议现场。在微软首次为混合现实量身定制的主题演讲中，借助Microsoft Mesh，世界各地的与会者只需端坐家中，即可通过虚拟化身，在共享的全息影像世界中参与会议。
“这就是混合现实最初的设想。”当微软技术院士Alex Kipman以全息瞬移的形象出现在Ignite大会的虚拟舞台上，实时解说演出的开幕体验时说：“即便真身并不在场，你也可以与其他人济济一堂，甚至你可以在不同的混合现实设备之间穿越。”
相隔万里，同样身临其境
Laliberté在加拿大的新公司——Lune Rouge发起了一个叫作“Hanai World”的项目，来探索Microsoft Mesh如何能让人们以虚拟的方式出席音乐会、戏剧演出，以及家庭庆祝活动。这是Laliberté多年来一直在构思的混合现实社交平台，他希望将现场和数字娱乐体验建立连接，但是直到Microsoft Mesh的出现才让这一愿景成为可能。Kipman表示：“我们的目标是回顾先前被视为不可能或过于耗时而被否决的解决方案，看看现在是否可以借助Microsoft Mesh平台轻松构建。”
“Hanai World”项目的名称是受一个夏威夷语词汇的启发，它大致的意思是选择一个人组建家庭，而该项目的宗旨是在数字世界与物理世界的娱乐体验之间建立新的关联。“Hanai World”项目希望为世界各地的娱乐场所创建数字化的表现形式，并以具有足够3D保真度的方式记录现场表演。在这其中，Microsoft Mesh将承载多种媒体形式、多种门类的Lune Rouge的节目和用户生产的内容。“这将是对现场娱乐节目很好的加持补充，”Lune Rouge的执行制作总监Alexandre Miasnikof说，“它将带来另外一种人际关系，并且为那些由于地理位置偏远或交通状况不便而无法亲临演出现场的人们带来娱乐。”
“我们今天所拥有的只是一种可能性，但我们不知道需要多久才能兑现，”Miasnikof表示，“但是我们认为，Microsoft Mesh已经为我们打下扎实的基础，我们将在此基础之上继续发展。”
海景“全息实验室”，并肩探索世界
非营利性组织OceanX一直以来致力于将前沿科学与引人入胜的故事讲述、产品以及技术体验相结合，为海洋教育和海洋意识培养提供支持，其科考船OceanXplorer是有史以来最先进的深海探测船之一，但船上空间有限，无法容纳所有热切渴望探索新知的科学家。在微软Ignite 2021大会上，OceanX宣布与微软开展新的合作，在OceanXplorer上创建一个支持Microsoft Mesh的“全息实验室”，让科学家们共聚一堂——无论是亲临现场，还是以虚拟方式，共同观看探测器在探索区域的3D全息影像，为科考任务提供实时指引。
例如，当研究人员试图弄清楚为什么抹香鲸会在某些地区游猎时，通过Microsoft Mesh，他们可以看到深海峡谷的全息图，其中包括放置在鲸身上的电子标签所收集到的数据，并叠加有关盐度、温度和海洋化学变化的信息，以及由鱼群探测器所提供的其他猎物的位置数据。
在OceanX的科考任务过程中，经常会出现一群人围坐着观看视频推送的场景，同时他们还会在视频旁的互动栏上与其他同事进行交流。那些没能亲自登船的研究人员，即使他们正在办公室的屏幕上观看相同的画面，但仅从这些互动中所得到的收获常常也十分有限。
OceanX希望今后当研究人员使用支持Microsoft Mesh的兼容设备时，能够以虚拟化的形象出现在实验台旁边，只要在海底全息图上指出他们存疑的特定区域，就能够围绕他们即将看到的东西与其他科学家展开实时讨论。“因为社交是这其中至关重要的部分，”OceanX副董事长Vincent Pieribone表示，“我们希望将每个人都纳入同一个房间，这样他们就可以彼此沟通，并建立真实的人脉关联。”
玩转混合现实版《精灵宝可梦Go》，“爷青回”！
增强现实公司Niantic的创始人兼首席执行官John Hanke也远程加入了微软Ignite 2021大会，并重点介绍了Microsoft Mesh是如何帮助他们在虚拟和物理世界中创建共享体验的。为了扩展一种完全不同的探索方式，Niantic在大会现场展示了依托HoloLens2、用于概念验证的《精灵宝可梦GO（PokemonGO）》游戏演示体验，展现了基于微软和Niantic的混合及增强现实功能所开展的全新合作愿景。
在这次并不代表真实产品的演示中，Hanke在他喜欢的公园里和一群小精灵与《精灵宝可梦GO》的产品营销经理Veronica Saron享受了一场共享混合现实的激战。Hanke说，Niantic的使命是创造一系列技术可以让人们进行社交活动并一起探索世界，无论是孩子们与自己的父母或小伙伴通过《精灵宝可梦GO》一起探索他们的社区，还是成千上万的人们聚集在公园里欢度节日。
目前，Niantic平台已经让数以千万计的用户在现实世界中获得了增强现实体验，而有了Microsoft Mesh功能的加持后，人们将可以借助HoloLens，跨越时间和空间共享游戏体验。
“我们的工作，就是将数字世界和物理世界缝合在一起，将数位与原子连接在一起，让大家通过Niantic平台获得这些体验，”Hanke说，“但是社交联系确实是我们所做一切工作的核心，而Microsoft Mesh的创新恰恰丰富了这一点。”
为更多领域创造共享虚拟空间
Microsoft Mesh是微软多年来在众多领域不辍研发的成果，包括手眼追踪、HoloLens、永久性全息影像创建以及能够创建富有表现力的虚拟人物形象的人工智能模型。Microsoft Mesh建立在微软的云计算平台Azure之上，并且集成了Azure的企业级安全性和隐私功能，以及其庞大的计算资源、数据、人工智能和混合现实服务等。“我们正在Azure智能云中实现越来越大的价值，”Kipman说，“在这些协作体验中，全息内容并不存储于个人设备或应用中，而是在云中，我们只需要通过特殊的镜头看到它即可。”
借助支持Microsoft Mesh的应用，使用3D物理模型（如自行车、高端家具、喷气发动机以及新运动场等）的设计师或工程师，不论身在何地都能够在共享虚拟空间中以自己的真实形象出现，并在全息模型上展开协作和迭代。
Microsoft Mesh可以让在地理位置上处于分散状态的团队，在共享混合现实会议中进行讨论和协作，而参与者将以自己虚拟化身的形象出现在会议中。
建筑师和工程师可以像在物理空间中一样，“游走”于正在建造的工厂车间的全息模型中，了解所有设备在三维空间中是怎样组合在一起的，从而避免代价高昂的错误。而正在攻读电动汽车发动机或人体解剖学课程的工程学或医学专业的学生，则可以通过虚拟化身的形式聚集在全息模型周围，拆除发动机的某些部件或剥去表层肌肉，一探内里究竟。
在Ignite 2021会议期间，微软还发布了两款基于Microsoft Mesh平台构建的应用，其中包括用于HoloLens的Microsoft Mesh应用预览版，它能够让团队成员实现远程协作，并且可以即下即用。用户还可以申请获取支持Microsoft Mesh的新版本AltspaceVR，它能够让公司在企业级安全保护措施下（包括安全登录、会话管理和隐私合规等）举行虚拟现实会议及工作研讨。在未来几个月内，Microsoft Mesh平台还将为开发人员提供一整套由AI驱动的工具，用于在混合现实中构建协作解决方案所需的会话管理、空间渲染、多用户同步和全息瞬移等。
Microsoft Mesh不仅让用户可以在混合或虚拟现实中拥有丰富的体验，其开放标准也让开发人员得以自由构建可在不同设备上运行的解决方案，这些设备包括HoloLens2、一系列虚拟现实头盔、智能手机、平板电脑和PC。
随着时间的推移，用户将可以更多地使用由外部开发人员及合作伙伴所构建的、Microsoft Mesh支持的应用，当然微软自身的产品，如Microsoft Teams和Dynamics 365等，也已计划整合Microsoft Mesh的技术。
Kipman说，“当我们引入一种新的计算媒介需求时，可能需要在整个生态系统范围内进行深度研究，这正是微软所做的。现在，我们邀请大家在此基础上共同创造价值，从微软经过多年研发所提供的技术中受益。”
微软Mesh - 技术概述
今天我们宣布了Microsoft Mesh，这是一个建立在Microsoft Azure上的新平台，使开发者能够建立沉浸式、多用户、跨平台的混合现实应用。微软Mesh使其用户能够以身临其境的方式连接存在、跨空间共享和协作，就像他们亲临现场一样，不受物理位置的限制。客户可以利用Mesh加强虚拟会议，进行虚拟设计会议，更好地进行远程协助，一起进行虚拟学习，举办虚拟社交聚会和见面会。
在这篇博客中，我们将窥探微软Mesh的内涵，以了解该平台的构建块。但首先，让我们看看为什么我们首先需要这样一个平台。
混合现实是继大型机、个人电脑和智能手机之后的第四次计算浪潮。混合现实正在成为消费者和商业的主流，将屏幕上的体验解放为在你的空间、你的东西、你的人之间的本能的互动。世界各地数以亿计的Niantic探索者已经通过你口袋里的设备体验了MR。当我们怀念亲临现场的社交关系时，像音乐会和健身训练这样的聚会正在向虚拟世界转移。超过50%的财富500强企业已经部署了HoloLens和其他混合现实解决方案，以推动其业务的实质性RoI。鉴于这样大的数字，人们会认为今天会有成百上千的混合现实体验正在开发。但事实并非如此。有一些潜在的困难问题阻碍了开发者创造这些沉浸式体验，特别是。
- 在MR中以适当的真实性表现人需要大量的时间和资源。
- 在不同时间和设备类型的共享MR空间中保持全息图的稳定是一个非同寻常的问题。
- 很难将高保真三维模型带入MR，以支持我们客户的文件格式。
- 在地理分布的MR会话中同步人们的动作和表情是很复杂的。
这些挑战使开发者无法实现多用户场景的MR体验。微软Mesh打算解决的正是这一系列的挑战。Mesh为开发者提供了一个平台，使他们能够设计出身临其境的多用户MR应用，而不必担心复杂的技术问题。让我们来看看微软Mesh平台为开发者提供的核心组件。
微软Mesh开发者平台
多设备支持。首先，Mesh可以满足用户的需求。它支持一系列设备，从完全沉浸式的头戴显示器（HMD），如微软HoloLens、惠普Reverb G2或Oculus Quest 2的3维体积体验，到iOS或安卓的手机和平板电脑的便利性，再到PC和Mac的2维视角的完全串联体验，用户可以从任何地方连接。
开发者平台。接下来，是Mesh所提供的全面的开发者平台和工具。开发者平台的核心是Azure。通过Azure Active Directory和Microsoft Accounts等身份服务，它将经过正式认证和授权的用户带入一个安全和可信的会话。Microsoft Graph继续与用户流动，使他们能够带来他们的连接、内容和偏好，包括来自商业和消费者空间的内容。而且，作为一个开发者，你不需要担心围绕计费、音频/视频传输和底层实时状态管理能力的核心基础设施。
除了核心平台，我们还有关键的人工智能能力，使Mesh能够解决一些最复杂的技术挑战，实现混合现实的大规模多用户在线（MMO）场景。这包括身临其境、空间地图、全息渲染和多用户同步。
微软Mesh人工智能驱动的能力
-
沉浸式的存在(Immersive presence)。多用户场景的一个基本方面是能够根据参与者加入的设备，以不同的形式表现他们。Mesh通过设备的内向型传感器提供了最容易获得的3D临场感的代表性化身。Mesh平台配有一个头像设备和一个定制工作室，因此你可以使用开箱即用的头像。该平台也能够利用其人工智能驱动的运动模型为现有的化身装备提供动力，以捕捉与用户动作一致的准确动作和表情。
-
除了化身(Avatars) 之外，Mesh还能通过外向型传感器实现最逼真的360度整体投影。这些外置传感器可以是像混合现实捕捉工作室(Mixed Reality Capture Studio)这样的定制相机设置，它有助于以完全保真的方式进行3D捕捉，也可以是Azure Kinect，它可以捕捉深度感应图像以协助产生全息表现。一旦全息图制作完成，这些全息图就可以在沉浸式混合现实头盔或日常手机、个人电脑和平板电脑上支持Mesh的应用程序中使用，以最逼真的表现形式为用户提供holoport，并提供真实的存在感。
-
空间地图(Spatial maps)。构建在现实世界中坚持全息内容的应用程序需要对每个参与者周围的空间有一个共同的视角，以及对物理世界的理解。无论是技术员的服务记录还是客户的寻路，将全息图可靠地放置在不同的时间、空间和设备上是一个共同的需求。这一切都在Mesh中通过空间地图实现。在Mesh之前，每个设备都有自己的本地世界观。有了Mesh，这些本地缓存被合并和优化，对他们所处的空间/环境有一个全局性的了解。这个框架使得内容可以被锚定，设备视角可以被共享，3D模型可以被协作。Mesh帮助你创建一个比GPS更精确的世界地图，它甚至可以在没有GPS的地方工作。它有助于提供 "世界锁定的全息图"，可以与特定的兴趣点相联系。此外，Mesh可以生成与特定物体的精确布局和几何形状相一致的相同理解，使开发者能够轻松建立可能需要在物体上叠加视觉信息的应用程序，如说明、服务记录和其他重要数据，精确地与物体的组成部分相一致。
-
全息渲染(Holographic rendering)。全息渲染是智能边缘和智能云架构的典型实例，无论设备的计算和热预算如何，全息渲染都能提供由Mesh支持的不折不扣的逼真度。Mesh允许在你的应用程序中为每个场景和模型选择本地独立渲染或云连接的远程无缝渲染。这为设计应用程序提供了灵活性，使其能够根据体验设备的不同而优化延迟和保真度。不仅如此，全息渲染还支持大多数3D文件格式，可以在支持Mesh的应用程序中进行原生渲染，解决了将用户现有的3D模型引入协作的难题。
-
多用户同步(Multiuser sync)。在一个协作会话中创建一个全息图和彼此的共同视角是一个很大的挑战。在Mesh中，这种共享背景是通过多用户同步实现的。这就是为什么参与者的任何姿势更新、动作和表情或空间中发生的任何全息变换都会被点亮。所有这些都在100毫秒的延迟内发生，无论用户是在同一个物理空间还是在世界的另一端。所有这些都通过Mesh中的空间音频得到增强，在多用户场景中创造出一种在同一物理空间中的感觉。
为了利用这些功能和核心平台特性，Mesh提供了一个跨平台的开发者SDK，这样开发者就可以针对他们选择的平台和设备创建应用程序--无论是AR、VR、PC还是手机。今天，它支持Unity以及本地C++和C#，但在未来几个月，Mesh还将支持Unreal、Babylon和React Native。除了访问功能外，SDK还提供了预建的用户体验结构，供开发者在应用程序中使用。这些预制构件旨在使开发过程更简单、更快速，以获得吸引人的混合现实体验。
支持网格的应用程序(Mesh-enabled apps)。在开发平台的基础上，微软Mesh还提供了一些应用体验，使平台充满活力。HoloLens 2 Mesh应用和具有新的企业功能的AltspaceVR是Mesh可以为沉浸式头盔点亮的协作体验的实例。这些只是微软和我们的合作伙伴正在进行的许多其他体验中的第一个。
Mesh开发者平台是全面的，其工具和功能旨在帮助开发者快速入门并提供引人入胜的多用户混合现实体验。随着我们从早期采用者和预览客户那里学习，我们将继续发展SDK以支持更多的引擎和框架。如果你有一个引人注目的应用场景，并希望加入预览，请加入MR开发者计划。这可以让你在MR领域的一些先驱者的帮助下建立你的MR应用，并在此过程中为Mesh平台作出贡献。
关于Microsoft Mesh的更多资源，请查看以下链接。
"你实际上可以感觉到你是在同一个地方"。微软Mesh为混合现实中的共享体验提供动力
https://news.microsoft.com/innovation-stories/microsoft-mesh/
多年来，太阳马戏团联合创始人盖伊-拉里贝尔特收到了无数关于虚拟现实技术的提案，但这些提案无法与他强烈的视觉和令人着迷的现场表演的魔力相提并论。现在，通过微软提供的一个新平台，他正在重新思考这个问题。
周二，他通过holoportation出现在微软的Ignite数字会议上，holoportation使用3D捕捉技术将一个人的栩栩如生的形象传送到虚拟场景中。在该公司首个完全为混合现实设计的主题演讲体验中，在世界各地的客厅和家庭办公室参加会议的人可以作为化身体验表演，观看在一个共享的全息世界中发生的事件。
这是该公司第一次有机会展示微软Mesh所带来的一些体验，Mesh是一个由Azure支持的新的混合现实平台，允许不同物理位置的人在多种设备上加入协作和共享全息体验。
"这一直是混合现实的梦想，从一开始就有这个想法，"微软技术研究员亚历克斯-基普曼说。"你可以真正感觉到你和某人在同一个地方分享内容，或者你可以从不同的混合现实设备上传送，即使你们不在一起，也可以和人们一起存在。"
基普曼在Ignite虚拟舞台上作为一个完全实现的自己的整体传送出现，作为模拟他身体的光线，实时讲述了节目的开幕体验。
电影制片人和海洋探险家詹姆斯-卡梅隆和领先的增强现实公司Niantic的首席执行官兼创始人约翰-汉克也与基普曼进行了远程交流，重点介绍了微软Mesh如何帮助他们创造跨越虚拟和物理世界的共享体验。
Laliberté与Kipman谈论了一项新的合作，帮助Lune Rouge（Laliberté创办的另一家公司）实现一个名为Hanai World的项目。这是一个他想了很多年的社会混合现实平台--它将把现场和数字娱乐体验连接成单一的活动--但直到现在，像微软Mesh这样的技术才赶上了这个愿景。
微软Mesh还将使分布在各地的团队能够举行更多的协作会议，进行虚拟设计会议，协助他人，共同学习和举办虚拟社交聚会。该公司说，人们最初将能够在这些共享的虚拟体验中以化身的形式表达自己，并随着时间的推移，使用整体传输技术将自己投射为最逼真、最逼真的自己。
这个新平台是微软多年来研究和开发的成果，涉及的领域包括手部和眼部追踪、HoloLens开发、创建持久的全息图和人工智能模型，可以创建具有表现力的头像。
微软Mesh建立在微软的云计算平台Azure上，也受益于Azure的企业级安全和隐私功能，以及其庞大的计算资源、数据、AI和混合现实服务。
"我们越来越多地在我们的智能云中构建价值，这就是Azure，"基普曼说。"在这些协作体验中，内容不在我的设备内或我的应用程序内。全息内容在云中，我只需要有特殊的镜片，让我看到它。"
有了微软Mesh支持的应用，从事3D物理模型工作的设计师或工程师--从自行车到高端家具到喷气式发动机到新的体育场馆--可以在一个共享的虚拟空间中以自己的身份出现，对全息模型进行协作和迭代，而不管他们的物理位置如何。
微软Mesh，一个新的混合现实平台，将允许分布在各地的团队在共享的混合现实会议中会面和合作，参与者将作为自己的数字代表出现。图片由微软提供。
建筑师和工程师可以亲自走过正在建造的工厂车间的全息模型，看到所有的设备是如何在三维空间中组合在一起的，从而有可能避免代价高昂的错误。
学习电动汽车发动机或人体解剖学的工程或医学专业学生可以作为化身聚集在全息模型周围，拆下发动机的一部分或剥开肌肉，看看下面是什么。同事们可以简单地聚在一起，在一个共享的虚拟空间里聊天，或者公司可以使用微软Mesh支持的应用程序，向世界各地的员工提供虚拟的全体员工会议或培训。
微软Mesh平台将在未来几个月为开发者提供一整套人工智能工具，用于化身、会话管理、空间渲染、多用户同步和整体传输，以在混合现实中构建协作解决方案，该公司表示。
尽管用户将在混合或虚拟现实中获得最丰富的体验，但微软Mesh的开放标准将使开发者能够自由地构建适用于许多不同设备的解决方案。HoloLens 2、一系列的虚拟现实头盔、智能手机、平板电脑和个人电脑。
在Ignite上，微软宣布了两个建立在微软Mesh平台上的应用程序。
其中包括用于HoloLens的微软Mesh应用预览，该应用允许团队成员进行远程协作，可供下载。客户还可以申请使用支持Mesh的AltspaceVR的新版本，它将允许公司在虚拟现实中举行会议和工作集会，并具有企业级安全功能，包括安全登录、会话管理和隐私合规。
该公司表示，随着时间的推移，它预计客户将能够从外部开发者和合作伙伴构建的越来越多的微软Mesh启用的应用程序中进行选择，并从计划与微软产品（如微软团队和Dynamics 365）的整合中受益。
"基普曼说："这就是为什么我们对混合现实作为协作计算的下一个大媒介如此热衷。"当两个人看到同样的全息图时，这是很神奇的。"
共同探索世界
在OceanXplorer这艘有史以来最先进的研究和深海探测船上，只有这么大的空间可以容纳所有的科学家，让他们从深海航行器上的仪器和相机不断收集的新数据中学习，这些仪器和相机可以探测从珊瑚礁和盐水池到深海热液喷口周围的海洋生物以及水下火山周围的矿物等一切。
在Ignite会议上，OceanX，一个将尖端科学与引人入胜的故事以及产品和技术体验相结合以支持海洋教育和认识的非营利组织，宣布与微软进行新的合作，在船上创建一个支持Mesh的 "全息实验室"，科学家可以聚集在一起--无论是亲自还是从世界各地的实验室和办公室虚拟--以查看车辆正在探索的区域的三维全息图。
在Ignite会议上，傲讯全通宣布与微软进行新的合作，在其研究船OceanXplorer上创建一个支持微软网格的 "全息实验室"。图片由遨游网提供。
例如，试图找出抹香鲸在某些地区捕食的原因的研究人员，可能会看到一个深海峡谷的全息图，上面有从抹香鲸身上的标签收集的数据，覆盖着关于盐度、温度和海洋化学变化的信息，并与显示鱿鱼和其他猎物可能所在的探鱼器的数据相结合。
"遨游网的副主席文森特-皮里邦（Vincent Pieribone）说："我们的想法是把我们正在收集的所有这些惊人的科学数据带到一个全息环境中，并把它作为一种方式来实时指导科学任务。
目标是让任何拥有HoloLens 2或其他兼容设备的研究人员，使用微软的Mesh，作为一个化身出现在桌子周围，并指出全息海底上他们可能有问题的特定区域，并与其他科学家就他们看到的东西进行实时交流。
在OceanX的研究任务中，经常有一群人挤在视频画面周围，提出问题并与他们的同事进行旁听。Pieribone说，不在船上的研究人员，即使他们在办公室的屏幕上观看同样的录像，也不一定能从这些互动中受益。
"他说："这其中有一个社会组成部分，是至关重要的。"我们想把每个人带入同一个'房间'，这样他们就可以互相交流，并有那种人际关系。"
为了扩大一种完全不同的探索，Niantic在Ignite上展示了在HoloLens 2上运行的概念验证Pokémon GO演示体验。它旨在展示一个新的合作愿景，该合作将建立在微软和Niantic的混合和增强现实能力之上。
在这个不代表消费者产品的演示中，Hanke和他最喜欢的公园里的一群口袋妖怪，与口袋妖怪GO的产品营销经理Veronica Saron一起，在一个共享的混合现实会议中进行战斗。
汉克说，Niantic公司的使命是创造技术，让人们能够一起社交和探索世界，无论是孩子们使用Pokémon GO与父母或朋友一起探索他们的社区，还是成千上万的人聚集在公园参加节日活动。
"他说："微软网格提供了一种全新的方式。"当我出去散步和探索世界时，把我的虚拟朋友带在身边的这个概念--我只是喜欢这个概念，我真的很想看看我们能用它做什么。"
这一直是混合现实的梦想，从一开始就有这个想法。
该演示显示了建立在Niantic的星球级平台上的Pokémon GO体验的潜力，该平台已使数百万人在现实世界中获得增强现实体验，并通过微软Mesh功能使人们能够跨越空间和时间一起出现在共享体验中，并在HoloLens上运行。
汉克说："我们的这部分工作是将数字世界和物理世界拼接在一起，将比特和原子连接起来，这样就可以利用Niantic平台实现这些体验，"。"但社会联系确实是我们所做的一切的核心，而微软Mesh的创新只是丰富了这一点。"
人类联系的另一个层面
Lune Rouge，这个由太阳马戏团的Laliberté创立的魁北克倡议，也开始探索微软Mesh如何让人们在远程地点虚拟参加音乐会、戏剧表演、DJ活动，甚至家庭庆祝活动。
Hanai World项目--受到夏威夷语的启发，松散地翻译为选择某人作为家人--旨在建立数字和实体娱乐体验之间的新联系。
其目的是创建世界各地娱乐场所的数字代表，并以足够的3D保真度捕捉现场表演，使人们可以在现实中或在他们的客厅里通过混合或虚拟现实体验同样的活动。该平台将策划Lune Rouge和用户生成的混合内容，涵盖各种媒体和流派。
"这将是对现场娱乐的一个很好的补充，"Lune Rouge的制作执行总监Alexandre Miasnikof说。"它带来了另一层人与人之间的联系，它把娱乐带给那些通常不能来参加活动的人，不管是由于地理原因还是交通原因。"
两个生活在两岸的朋友可以作为化身加入同一场音乐会，一起体验演出，或许最终有一天，某人生活在另一个国家的祖母的整体传送可以在团聚时与家人实时互动。
"我们今天所拥有的是承诺，而我们多长时间能实现这个承诺，我们不知道，"米亚斯尼科夫说。"但我们认为我们有了微软Mesh的良好基础，我们将在此基础上进行建设。"
基普曼说，这正是我们的目标：看看以前可能被认为不可能或太费时而无法建立的解决方案，现在可以通过微软网格平台更容易地建立起来。
"他说："当你考虑到开创一种新的计算媒介实际上需要什么时，你必须对整个生态系统进行深入的投资，这确实是微软所做的。
"现在我们邀请人们在此基础上创造价值，并从我们多年的艰苦研发中获益，以一种交钥匙的方式为他们提供这些功能。"
开发者资源
通过微软Mesh SDK，使用AI驱动的化身、整体传送、空间渲染等工具，更快地构建协作性、跨平台的混合现实应用。要获得最新信息，请加入混合现实开发者计划。
什么是Azure Kinect DK
https://docs.microsoft.com/zh-cn/azure/kinect-dk/about-azure-kinect-dk
Azure Kinect DK是一款开发人员工具包，配有先进的AI传感器，提供复杂的计算机视觉和语音模型。Kinect将深度传感器、空间麦克风阵列与视频摄像头和方向传感器整合成一体式的小型设备，提供多种模式、选项和软件开发工具包(SDK)。它可在Microsoft在线商店中购买。
Azure Kinect DK开发环境由以下多个SDK组成：
- 用于访问低级别传感器和设备的传感器SDK。
- 用于跟踪3D人体的人体跟踪SDK。
- 用于启用麦克风访问和基于Azure云的语音服务的语音认知服务SDK。
此外，可将认知视觉服务与设备RGB相机配合使用。
https://www.microsoft.com/en-us/d/azure-kinect-dk/8pp5vxmd9nhq
参考
- 2022年5月2日，微软加入开放3D基金会，将推动开源3D引擎发展
- 微软新发布的Microsoft Mesh是什么？
- Microsoft Mesh - A Technical Overview
Microsoft Mesh – Mechanics Session - “You can actually feel like you’re in the same place”: Microsoft Mesh powers shared experiences in mixed reality
- Microsoft Mesh混合现实平台，打开时空穿越之门
- Join our mixed reality developer program
- Microsoft Mesh - A Technical Overview
- Mixed Reality Blog
- Microsoft Mesh hands-on demo | New platform to deliver collaborative mixed reality experiences
- 2022年5月4日，微软开源1995年的Windows 3D Movie Maker，有望在Win11/10上运行
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 全程不用写代码，我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· DeepSeek 开源周回顾「GitHub 热点速览」
· 白话解读 Dapr 1.15：你的「微服务管家」又秀新绝活了