摘要：
RTMP（Real-Time Messaging Protocol）是一个综合性的协议，不仅可以传输音视频数据，还可以传输信令控制指令。RTMP 使用 TCP 作为传输协议，可以直接在 TCP 连接上传输音视频数据，也可以传输控制指令，实现了音视频流的实时传输和控制。 阅读全文
摘要： 
为解决人形分离和深度估计问题，ARKit 新增加了 Segmentation Buffer（人体分隔缓冲区）和Estimated Depth Data Buffer（深度估计缓冲区）两个缓冲区。人体分隔缓冲区作用类似于图形渲染管线中的 Stencil Buffer（模板缓冲区），用于区分人形区域与背景区域，它是一个像素级的缓冲区，用于精确地描述人形区域。 阅读全文
为解决人形分离和深度估计问题，ARKit 新增加了 Segmentation Buffer（人体分隔缓冲区）和Estimated Depth Data Buffer（深度估计缓冲区）两个缓冲区。人体分隔缓冲区作用类似于图形渲染管线中的 Stencil Buffer（模板缓冲区），用于区分人形区域与背景区域，它是一个像素级的缓冲区，用于精确地描述人形区域。 阅读全文
摘要： 
正确实现虚拟物体与真实环境的遮挡关系，需要基于对真实环境3D结构的了解，感知真实世界的3D结构、重建真实世界的数字3D模型，然后基于深度信息实现正确的遮挡。但真实世界是一个非常复杂的3D 环境，精确快速地感知周围环境，建立一个足够好的真实世界3D模型非常困难，特别是在不使用其他传感器的情况下（如结构光、TOF、双目、激光等）。 阅读全文
正确实现虚拟物体与真实环境的遮挡关系，需要基于对真实环境3D结构的了解，感知真实世界的3D结构、重建真实世界的数字3D模型，然后基于深度信息实现正确的遮挡。但真实世界是一个非常复杂的3D 环境，精确快速地感知周围环境，建立一个足够好的真实世界3D模型非常困难，特别是在不使用其他传感器的情况下（如结构光、TOF、双目、激光等）。 阅读全文
摘要： 
与2D人体姿态检测一样，在ARKit 中，我们不必关心底层的人体骨骼关节点检测算法，也不必自己去调用这些算法，在运行使用 ARBodyTrackingConfiguration 配置的 ARSession 之后，基于摄像头图像的3D人体姿态估计任务也会启动，我们可以通过 session（_ session: ARSession, didUpdate anchors：［ARAnchor］）代理方法直接获取检测到的ARBodyAnchor。 阅读全文
与2D人体姿态检测一样，在ARKit 中，我们不必关心底层的人体骨骼关节点检测算法，也不必自己去调用这些算法，在运行使用 ARBodyTrackingConfiguration 配置的 ARSession 之后，基于摄像头图像的3D人体姿态估计任务也会启动，我们可以通过 session（_ session: ARSession, didUpdate anchors：［ARAnchor］）代理方法直接获取检测到的ARBodyAnchor。 阅读全文
摘要： 
与基于屏幕空间的 2D人体姿态估计不同，3D人体姿态估计是尝试还原人体在三维世界中的形状与姿态，包括深度信息。绝大多数的现有3D人体姿态估计方法依赖2D人体姿态估计，通过获取 2D人体姿态后再构建神经网络算法，实现从 2D 到 3D人体姿态的映射。 阅读全文
与基于屏幕空间的 2D人体姿态估计不同，3D人体姿态估计是尝试还原人体在三维世界中的形状与姿态，包括深度信息。绝大多数的现有3D人体姿态估计方法依赖2D人体姿态估计，通过获取 2D人体姿态后再构建神经网络算法，实现从 2D 到 3D人体姿态的映射。 阅读全文
摘要： 
ARKit 配置类 ARBodyTrackingConfiguration 专用于 2D、3D人体肢体检测捕捉，同时，该配置类也可以设置实现 2D 图像检测和平面检测，构建对现实环境的跟踪。为更真实地渲染虚拟元素，ARBodyTrackingConfiguration 还支持 HDR（High Dynamic Range Imaging，高动态范围成像）环境反射功能。 阅读全文
ARKit 配置类 ARBodyTrackingConfiguration 专用于 2D、3D人体肢体检测捕捉，同时，该配置类也可以设置实现 2D 图像检测和平面检测，构建对现实环境的跟踪。为更真实地渲染虚拟元素，ARBodyTrackingConfiguration 还支持 HDR（High Dynamic Range Imaging，高动态范围成像）环境反射功能。 阅读全文
摘要： 
在使用自动环境反射时，开发人员无须进行有关环境反射的任何操作，只需要设置自动环境反射即可，其余工作完全由 RealityKit 自动完成，这适用于基本的常见环境反射。但这种环境反射方案是一种普适性的反射，并没有专门针对某特定虚拟元素进行优化，在某些情况下效果并不精细，并且我们也无法进行干预调优，如一辆行驶的赛车对环境的反射就需要更精细的控制，这时就需要手动控制环境探头的生成及更新。 阅读全文
在使用自动环境反射时，开发人员无须进行有关环境反射的任何操作，只需要设置自动环境反射即可，其余工作完全由 RealityKit 自动完成，这适用于基本的常见环境反射。但这种环境反射方案是一种普适性的反射，并没有专门针对某特定虚拟元素进行优化，在某些情况下效果并不精细，并且我们也无法进行干预调优，如一辆行驶的赛车对环境的反射就需要更精细的控制，这时就需要手动控制环境探头的生成及更新。 阅读全文
摘要： 
在使用 iOS AR中 渲染虚拟物体时，RealityKit 默认使用了一个简单的天空盒（Skybox，即IBL环境资源贴图），所有带反射材质的物体默认会对天空盒产生反射。 阅读全文
在使用 iOS AR中 渲染虚拟物体时，RealityKit 默认使用了一个简单的天空盒（Skybox，即IBL环境资源贴图），所有带反射材质的物体默认会对天空盒产生反射。 阅读全文
摘要：
ARKit 支持对用户所处环境光照信息的估计，在 ARConfiguration 类中定义了 isLightEstimationEnabled 布尔属性用于开启和关闭光照估计，该功能默认为启用状态。由于 ARConfiguration 是所有其他配置类的父类，因此 ARKit所有的配置类都支持光照估计功能。 阅读全文
摘要：
iOS Reality Kit 支持3种光源类型：平行光（DirectionalLight）、点光（PointLigbt）、聚光（SpotLight），分别同于模拟太阳光、普通灯泡类灯光、手电筒类灯光，组合使用这3种光源类型可以实现绝大部分光照效果道染需求。实际上，RealityRit还支持环境光，但 RealityKit 中的环境光照并不直接来自光源，而是使用IBL（Image Based Lighting，基于图像的光照）技术从背景图像中提取。 阅读全文
