结构光3D表面成像：教程

Structured-light 3D surface imaging: a tutorial

Jason Geng 【2010】

摘要

• 综述了3D表面成像技术，尤其是基于结构光的非接触式3D表面测量技术。

• 其结合数字光投影（Digital Light Projection）技术和飞速发展的成像传感技术，具备高速、高分辨率图案投影能力，在3D表面测量应用中具备更好的速度、准确度、分辨率、模块化及便捷性。

• 讨论了3D成像系统的性能指标，对各种成像方案进行了分类、说明和比较。

• 讨论了校准技术、3D表面成像技术的应用案例。

1. 引入

物理世界是3D的，而摄像机获取的是2D的图像，缺失了深度信息，这限制了计算机感知和理解现实世界物体。近几十年的研究、开发和商业化推动了3D表面成像技术和传感器工艺、算力发展，本文综述了基于结构光的表面成像技术。

“3D成像”指能获取3D对象的某种3D特征值（如密度分布，3D坐标$(x,y,z)$）,如医学成像领域的电子计算机断层扫描（computed tomography, CT）和磁共振成像（magnetic resonance imaging, MRI），能获取测量目标的体素，包括内部结构。

3D表面成像指测量对象表面的$(x,y,z)$坐标点，测量结果表现为在笛卡尔坐标系统中$(x,y)$位置到深度（或测距）$z$的映射函数，可表示为${z_{ij}=(x_i,y_j),i=1,2,...,L,j=1,2,...,M}$

该过程也被称为3D表面测量、测距、测距传感、深度映射、表面扫描等，在不同的应用中的差异只在于系统设计、实现，数据格式等。

一个更通用的3D表面成像系统可以获取用于反映表面反射的标量值，表现形式为点云$\{P_i=(x_i,y_i,z_i,f_i),i=1,2,...,N\}$

其中$f_i$表示第$i$个表面点的反射值。同样地，彩色的表面图像表示为$\{P_i=(x_i,y_i,z_i,r_i,g_i,b_i),i=1,2,...,N\}$，其中$(r_i,g_i,b_i)$表示为第$i$个表面点的红、绿、蓝颜色分量，表面的光谱特性将在特征向量的更大维度上表征。

基于结构光的3D表面成像是一种主要方法，它通过向场景中主动照射设计好的2D图案来实现（如图1所示），这种2D图案由特定投影设备或经过调制的光源生成，结构光图案上每个位置的强度用数字信号$\{I_{ij}=(i,j),i=1,2,...,I,j=1,2,...,J\}$表示，其中$(i,j)$表示投影图案中的$(x,y)$坐标。

一个成像传感器（如摄像机）在结构光投影下采集2D图像，如果场景是平面的，没有任何的3D表面变化，则获取的图像与投影的结构光图案相似，若场景表面是非平面的，则可以通过采集图像中投影图案的几何形变看出，基于结构光的3D表面成像正是基于这一原理来实现的。

如图1所示，图像传感器、结构光投影和对象表面点之间的几何关系可以用三角原理来表示

$$R=B\frac{sin(\theta)}{sin(\alpha+\theta)}$$

基于三角测量的3D成像技术（结构光），其关键在于将投影光斑从获取的图像中分离出来。

在更普遍的意义上，包含空间的各个方向$(x,y,z)$的结构光才被认为是真正的3D结构光投影，但由于相干光干涉，投射光的强度可能沿投影光的光路变化，因而大多3D表面成像系统采用的是3D的投影图案，本文讨论的结构光也为2D投影图案。

如图2所示，通过计算机仿真来说明基于结构光的3D成像系统工作原理。在一个任意的3D表面目标上投影结构光图案，在这种特殊情况下，结构光图案是一个空间变化的多周期色谱，彩色成像传感器在结构光投影下获取目标3D表面的图像。在仿真中，我们动态改变3D表面的几何形状，采集图像后，通过比较形变和无形变的投影图案，计算机可以精确地计算目标的3D表面几何形状。

目前有很多基于结构光的表面成像技术，在本综述中，我们将其按多镜头、单镜头进行归类，如图3所示。如果3D目标是静止的并且没有严格限制采集时间，则通过多镜头成像可以获得跟稳定和精确的结果，如果目标是移动的，则通常采用单镜头成像在特定时间内获取3D表面图像。

我们将单镜头成像技术进一步分为：连续变化的结构光图案、1D编码方案（条形索引）、2D编码方案（网格索引），每种方法都有其优缺点（还可组合改进），适用于特定应用。每种技术的细节将在2~5节中介绍。

第6节将讨论影响3D成像系统性能的因素，第7节综述相机和投影校正技术，第8节展示一些应用案例。由于内容过多，无法穷尽，本文将取一些有代表性的进行说明。

2. 序列投影技术

2.1二进制图案和格雷编码

二进制编码采用黑白条纹组成投影图案，物体表面的每个点都有一个唯一的二进制编码。通常，$N$种图案可以编码$2^N$个条纹，如图4展示了5位（bit）投影图案，当图案序列投影到一个静态场景时，会有32（$=2^5$）个不同的区域用于编码，3D坐标$(x,y,z)$可以通过水平线上的32个点计算（基于三角测量原理），这样就得到了完整的3D图像帧。（参考博客格雷码结构光（用于立体视觉）原理详解+结构光编码实现_weixin_44494725的博客-CSDN博客_格雷码结构光）【说明：整个过程中，会连续投影$N$个图案，图案的每个像素值代表该像素的编码，一个图案代表二进制种的一个位（bit），这样每个位置都进行了编码。】

因编码值只有二值，二进制编码技术对表面特征低敏感，很稳定。但是想获得更高的空间分辨率，就必须连续投影更多的图案。场景中的所有对象需要保持静态，3D图像的采集时间也会超出3D应用的要求。

2.2 灰度级图案（格雷图案）

为有效地减少获取高分辨率3D图像采集过程中所需的图案数量，学者提出了灰度级图案。通过采用$M$个不同等级的灰度来编码投影图案，这种情况下，$N$个图案可以编码$M^N$个条纹，每个条纹在$N$-based空间中可视化为一个点，每个维度有$M$个不同的值（如前所述，前面$M$=2）。若$N$=3，$M$=4，则总共可以编码64（=$4^3$）个条纹，而二进制编码需要6个图案。这样优化的主要目的是最大化不同编码的测量距离（可分辨距离或最小颜色变化间隔，如二进制编码，中间间隔一个像素）。在实际的3D成像应用中，可分辨相邻条纹是非常重要的。图5为在希尔伯特空间优化灰度级编码（gray-level）的例子。

2.3 相位偏移

在3D表面成像中，相位偏移是一种很有名的条纹投影方法。如图6所示，将一系列正弦图案投影到物体表面，三幅条纹图案中每个像素$(x,y)$的强度可表示为：

$$I_1(x,y)=I_0(x,y)+I_{mod}(x,y)cos(\phi(x,y)-\theta), \\ I_2(x,y)=I_0(x,y)+I_{mod}(x,y)cos(\phi(x,y)), \\ I_3(x,y)=I_0(x,y)+I_{mod}(x,y)cos(\phi(x,y)+\theta),$$

其中$I_i(x,y)$，$I_2(x,y)$和$I_3(x,y)$表示投影图案的光强，$I_0(x,y)$为直流分量（背景强度），$I_{mod}(x,y)$为调制信号振幅，$\phi(x,y)$为相位，$\theta$为相位偏移常量。

相位展开（phase unwarpping）是将包裹相位转换为绝对相位的过程。相位信息$\phi(x,y)$可以通过3幅条纹图案的光强恢复（展开）：

$$\phi'=arctan[\sqrt{3}\frac{I_1(x,y)-I_3(x,y)}{2I_2(x,y)-I_1(x,y)-I_3(x,y)}]$$

$arctan$函数的不连续性可以通过对$\phi'(x,y)$加减$2\pi$的倍数来消除（如图7所示）：

$$\phi(x,y)=\phi'(x,y)+2k\pi,$$

其中$k$位整数，表示投影周期。注意，相位展开方法只能实现相对展开，无法计算绝对相位。

3D坐标$(x,y,z)$可以通过测量相位$\phi(x,y)$和参考平面相位值差异来计算，如图8为一个简单的例子。

$$\frac{Z}{L-Z}=\frac{d}{B},\quad or\quad Z=\frac{L-Z}{B}d.$$

上式可推导出：

$$Z\approx \frac{L}{B}d∝\frac{L}{B}(\phi-\phi_0).$$

2.4 混合方法：相位偏移+格雷编码

如2.3节讨论，相位偏移方法存在两个重要问题：（1）相位展开只能求解相对相位；（2）如果两个表面间不连续段超过$2\pi$，那么基于相位展开的方法则无法正确计算这两个表面的相对相位。这些不明确的问题可以通过结合格雷编码投影和相位偏移技术来解决。

图9展示了结合格雷编码和相位偏移方法的32个条纹序列，格雷编码保证了相位的绝对范围明确，相位偏移使亚像素分辨率超出了格雷编码的条纹数。但是混合方法需要更多的投影数，这使得它在对动态目标3D成像时不适用。

2.5 光度测量学

光度测量立体法（photometric stereo），是从变化的阴影中获取形状的方法。如图10所示，通过从同一视角但从不同方向的光照下拍摄的相同表面的图像来估计局部表面方向，基于多张图像解决了从阴影中求解形状的病态（ill-posed）问题。光度测量立体法需要所有的光源都为点光源并且只估计局部表面方向（梯度$p,q$）。它假定3D表面是连续的，并且需要一个“起始点”（坐标$(x,y,z)$已知）用于3D重建算法。

3. 全帧空间变化颜色图案

序列投影技术的主要缺点在于它无法很好地获取动态目标（或局部动态）的3D成像。现在介绍一些单次拍摄的3D表面成像技术，它们可以利用颜色信息或不同的投影图案编码方式，只需单次成像就可以生成包含场景中每个可见点坐标$(x,y,z)$的全帧3D图像。

3.1 彩虹3D相机

如图11说明了彩虹3D相机的基本概念，与传统的立体视觉（必须从一对立体图像中提取相应的特征来计算深度值）不同的是，彩虹3D相机投影不同波长的光（空间上）到物体表面。特定波长$\lambda$的光平面到彩虹光投影器件有固定的（投影）角度$\theta$，因而很容易定位到物体表面的标记点。由已知的基准线（base line, B）和视角（$\alpha$），可以通过三角测量原理直接计算每个单独像素的深度值，全帧的3D图像可以以30帧每秒或更快的速度获得。

3.2 连续变化颜色编码

通过组合多种连续变化的颜色图案去编码位置信息是可行的，将光强连续变化的不同颜色光叠加起来即可实现（注：其波谱不一定是线性关系）。如图12展示了将光强变化的R、G、B通道组合编码而成的彩虹图案，R、G、B的占比已知，解码也是易于实现的。

4. 条纹索引（单镜头，Single Shot）

因观测到的条纹顺序不一定与被投影的顺序一致，条纹索引的3D表面重建方法具有一定的鲁棒性。这是基于三角测量的3D表面成像系统存在固有的视差，以及物体3D表面特征的遮挡而引起采集图像中的条纹缺失所致。下面介绍一些代表性的条纹索引技术。

4.1 彩色条纹索引

彩色图像传感器通常具有三个独立的采集通道，每个通道对于一个光谱带，线性组合这些颜色分量值可以得到无限种颜色。3个8位通道可以表示$2^{24}$种不同的颜色，丰富的颜色信息可以用于增强3D成像精度，减少采集时间。如图13所示，采用彩色条纹索引的投影图案可以缓解采用单色图案的相移法和多条纹技术中的不明确问题。这种颜色编码系统可以实现实时的3D成像，还可以将多个图案编码为一个彩色投影图像，每个图案在颜色空间中具有唯一的颜色值。为了降低解码错误率，可以选择一个颜色集合，其中每种颜色和任一其他颜色具有最大间隔，集合中最大颜色数量受限于获得图像中最小串扰颜色之间的距离。

4.2 分段模式条纹索引

如图14所示，为区分条纹，可以在条纹上增加不同的分段模式。但这种方式只适用于3D对象的表面是平滑且连续的情况（投影图案不会产生严重的形变），否则将很难恢复不同的分段模式。

4.3 重复格雷编码条纹索引

如果使用两个以上的强度水平，则可以排列条纹的强度水平，使任何一组条纹（$N$条条纹的滑动窗口）在一段长度周期内都具有独特的强度模式，例如使用三个灰度等级（黑、灰、白），这个图案（如图15所示）可以设计为：

$$BWGWBGWGBGWBGBWBGW$$

图案匹配过程从获取的图像强度与投影强度模式的相关性开始。一旦找到了匹配点，就会对子灰度序列匹配进行进一步的搜索，如三字母序列$WGB$、$GWB$等。

4.4 基于DeBruijn序列的条纹索引

在包含$k$个字母的字母表上，$n$级的DeBruijn序列是一个循环词，在循环中，$k^n$个长度为n的单词都恰好出现一次。如图16所示，一个$n=3,k=2\quad (字母表为\{0,1\})$的DeBruijn循环词，当我们绕着这个循环走时（顺时针或逆时针）可以得到$2^3=8$个three-digit图案$000,001,010,011,100,101,110,111$，它们都只出现一次（无重复）。换句话说，这几个子图案（序列）互不相关。DeBruijn序列的这种特性可以用于条纹图案的编码，其解码工作也会很容易实现，与DeBruijn序列相关的图被称为DeBruijn图。

下面展示一个采用二进制颜色（$R,G,B$）编码生成基于DeBruijn序列的颜色条纹索引的例子。采用3中颜色最多有8（$2^3$）种组合，除去$(0,0,0)$这种情况，这里只采用了7种可能的颜色。基于此，以$k=7,n=3$构建DeBruijn序列可以得到343种条纹，如果条纹数过多，可设置$k=5,n=3$得到125种条纹。【注意：所有相邻的条纹必须是不同的颜色！否则有的条纹宽度为2或3，这会影响3D重建算法】，这个约束通过异或运算（$XOR$）很容易实现。如图17展示了实际的颜色条纹索引图案，所有相邻的条纹都有不同的颜色。各种DeBruijn序列的变体（不同的颜色索引、格雷索引或其他类型的投影图案）应用到了3D表面重建中。

5. 网格索引：2D空间网格图案

2D网格图案技术的基本概念是：标记2D投影图案中的每个子窗口，并使任何子窗口中的图案都是唯一的，其在图案中的2D位置完全可识别。

5.1 伪随机二元数组（PRBA）

一种网格索引策略是采用伪随机二元数组（PRBA）去生成可用点或其他图案标记的网格位置，这样任何子窗口的编码图案都是唯一的。PRBA由一个使用伪随机序列编码的$n_1×n_2$数组定义，这样在整个数组上滑动的任意$k_1×k_2$子窗口都是唯一的，数组内每个子窗口都有一个绝对坐标$(i,j)$。二元数组的编码模式基于伪随机二元序列（使用以$2^n$为模的原始多项式方法），其中$2^n-1=2^{k_1k_2}-1,n_1=2^{k_1}-1,n_2=2^n-\frac{1}{n_1}$。图18为PRBA的一个生成实例，其中$k_1=5,k_2=2,n_1=31,n_2=33$。

5.2 迷你图案作为编码词

除了伪随机二元数组，一种多值的伪随机数组也能用于编码。每个值用迷你图案表示，这样就能构成网格索引的投影图案。如图19展示了一种三值伪随机数组和一个迷你编码词集合，采用特定的定义方式，生成具有不同子窗口的投影图案。

5.3 颜色编码网格

还有一种同时编码垂直条纹和水平条纹的颜色编码方法，可以实现2D的网格索引。垂直和水平条纹编码方案可以相同，或完全不同，这取决于应用程序（如图20所示）。虽然不能保证子窗口的唯一性，但在大多数情况下，双向的彩色条纹可以帮助解码建立对应关系。在图案提取方面，细网格线可能不像其他图案（点、正方形等）那样可靠。

5.4 2D颜色编码点数组

布鲁特力算法（brute force algorithm）可以生成不同的子窗口，但可能无法穷尽所有可能的子窗口图案，该方法在计算机算法中实现起来相对直观。如图21（左图）所示，展示了一个子窗口为$3×3$（采用三种颜色编码，$R、G、B$）的$6×6$的阵列，它的计算过程如下：首先用一个随机选择的图案填充$6×6$阵列的左上角。然后，在右边添加一个包含随机编码字的三元素列，在添加此类列之前，将验证子窗口的唯一性。继续添加这些列，直到所有列都充满了随机编码字，并验证了子窗口的唯一性。类似地，从初始子窗口位置向下方向添加随机行。然后，沿着对角线方向添加新的随机编码词。重复这些步骤，直到所有点都填充了颜色。这种计算过程可能不能保证为所有的数组大小和编码字生成一个伪随机数组，但在许多情况下已经取得了良好的结果。如图21（右图）所示为一个$20×18$的伪随机数组。

5.5 混合方法

有许多通过组合编码的方法可以改进3D表面成像系统的性能，如图22展示了一个实例。

6. 3D表面成像系统性能评估

3D表面成像系统的技术性能特征有许多因素。从应用的角度来看，以下三个方面通常被用作评价3D成像系统的主要性能指标：

（1）准确度（Accuracy）：测量准确度指3D表面成像系统测量值和实际值之间的最大偏差。通常，由于系统固有的设计特性，3D成像系统在不同的$(x,y,z)$方向上可能具有不同的精度。此外，不同的制造商可能会使用不同的方法来表征准确性。例如，有些人可能使用平均误差、不确定性、$±$误差、RMS或其他统计值。因此在比较不同的系统时，必须理解其性能声明的确切含义，并在同一框架中进行比较。

（2）分辨率（Resolution）：在大多数光学文献中，光学分辨率被定义为光学系统区分图像中的单个点或线的能力。类似地，3D图像分辨率表示3D成像系统可以分辨出的物体表面的最小部分。然而，在三维成像领域中，术语“图像分辨率”有时也表示系统在单帧内能够获得的最大测量点数。例如，具有640×480像素的3D传感器单次拍摄采集可能能够产生307,200个测量点。给定视场、工作距离等条件下，这两种图像分辨率的定义可以相互转换。

（3）速度（Speed）：采集速度对于运动物体（如人体）的成像非常重要。对于单镜头（Single Shot，单次拍摄）3D成像系统，帧率表示它们在短时间间隔内重复全帧采集的能力。对于连续3D成像系统（例如，激光扫描系统），除了帧率之外，还需要考虑另一个问题：在执行连续采集时对象正在移动；因此，获得的全帧3D图像可能不代表3D对象在单个位置的快照。相反，它成为了在不同时间实例中获得的测量点的积分；因此，三维形状可能会与三维物体的原始形状相扭曲。在采集速度和计算速度之间还有另一个区别，例如一些系统能够以30帧/秒的速度获取3D图像，但这些获得的图像需要以更慢的帧率进行后处理，以生成3D数据。

上面提到的三种性能指标可以用于比较3D成像系统。图23展示了一个主要的性能空间，其中每个3D成像方法都可能占据一个点，可以直观地比较多个三维成像系统。当然，在评估实际安装的3D表面成像系统时，系统的性价比和可靠性也是重要的考虑因素。

除了主要的性能指标外，几乎有无限数量的性能指标可以用于表征3D成像系统的各种特定方面。例如3D成像系统的景深（指可以获得精确的3D测量的工作距离范围）。这些系统属性最后将反映在主要的性能指标（例如，测量精度、分辨率和速度）上。

视野、基准线和工作距离也可以表征3D成像系统的特性，受投影光线能量影响，基于结构光的3D成像系统的工作距离受到限制，而依赖于单次激光扫描的飞行时间（TOF）传感器可以达到的英里级（miles）距离。

每种类型的3D成像技术都有自己的优缺点，我们应该根据其对预期应用的整体性能来判断一个系统。

7. 相机和投影校准技术

相机和投影校准对3D成像系统的准确测量至关重要。相机校正在计算机视觉中是一个很重要的问题，然而这一关键技术在许多3D成像技术的综述、研究和应用文章中并没有得到足够的关注。

由于大多数3D成像系统使用2D光学传感器，相机校准程序建立了2D图像上的像素（相机坐标）与物体点所在的3D空间中的直线（世界坐标）之间的关系，并考虑到镜头失真。通常，使用一个简化的相机模型和一组内在参数来表征这种关系。有几种方法和附带的工具箱可用，这些程序通常需要在一个已知校准对象的几个角度和距离上的图像。平面棋盘图案是一种常用的校准对象，因为它生产非常简单，可以用标准打印机打印，并且有独特的角，易于检测，图24展示了一些图案。构造了校准图案从2D到3D的对应（关系）。

7.1 相机校准算法

假设标定板平面在世界坐标下为平面$Z=0$，则标定板上每个点可表示为$M=[X,Y,0,1]^T$，物体点$M$和它的图像点$m$之间的关系可以用一个单应性矩阵$H$表示：

$$m∼K[r_1,r_2,r_3,-Rt][X,Y,0,1]^T, \\ m∼H[X,Y,1]^T,$$

其中$H=[h_1,h_2,h_3]=K[r_1,r_2,-Rt]$，为一个最大规模定义的$3×3$矩阵，$r_1,r_2,r_3$为旋转矩阵的列向量（$3×1$）。对于旋转矩阵$R$，其列向量$r_1,r2,r3$是标准正交的，因此可以得到：

$$h^{T}_{1}(KK^T)^{-1}h^{T}_2=0, \\ h^{T}_{1}(KK^T)^{-1}h^{T}_1=h^{T}_{2}(KK^T)^{-1}h^{T}_2$$

每个单应性可以给内在参数提供两个约束。上述方程中的$K^{-T}K^{-1}$是一个对称矩阵，可以用一个6D向量来定义：

$$A-K^{-T}K^{-1}= \left[ \begin{matrix} A_1 & A_2 & A_4 \\ A_2 & A_3 & A_5 \\ A_4 & A_5 & A_6 \\ \end{matrix} \right], \\ a=[A_1,A_2,A_3,A_4,A_5,A_6]$$

令单应性矩阵$H$的第$i$个列向量$h_i=[h_{i1},h_{i2},h_{i3}]$，可得到：

$$h^{T}_iAh_j=v_{ij}a,$$

其中$v_{ij}=[h_{i1}h_{j1},h_{i1}h_{j2}+h_{i2}h_{j1},h_{i3}h_{j1}+h_{i1}h_{j3},h_{i3}h_{j2}+h_{i2}h_{j3},h_{i3}h_{j3}]^T$,两个约束可重写为一个同质方程。为求解$a$，至少需要3张不同角度获取的图像，在实际情况中，为抑制噪声的影响，会使用更多的图像，通过奇异值分解计算得到最小二乘误差。最后通过最小化下面的能量函数来优化重投影误差：

$$\sum^{n}_{i=1}{\sum^{m}_{j=1}||m_{ij}-\widehat{m}(K,R,t,M_j)||^2}$$

7.2 投影校准

投影仪的校准有两方面：作为主动光源，投影仪的强度需要进行校准，以恢复其照明强度的线性，作为反相机（inverse camera），它需要像普通相机一样进行几何校准。

7.2a 投影强度校准

为了提高对比度，投影仪的强度曲线经常被投影仪供应商改变为伽玛变换。当在3D成像系统中作为主动光源使用时，需要进行校准，以恢复照明强度的线性度。为此，将投影几个测试图案，并由成像传感器获取投影的图案。投影图案的实际强度与图像像素值之间的关系可以用高阶多项式函数进行拟合，然后计算逆函数，并用来校正在3D成像过程中投影的图案（如图25）。

7.2b 投影几何校准

把投影仪看作是一个反相机，投影仪的光学模型与相机相同，它们之间唯一的区别是投影的方向。逆模型使将2D图像（在相机坐标中）上的像素与3D空间（世界坐标）中的直线相关联的问题变得困难，因为我们无法确定3D空间中的给定点将在逆向相机中投影的位置坐标。 投影仪校准的关键问题是如何建立对应关系。一旦建立了对应关系，就可以使用相机校准算法来校准投影仪。

对投影仪使用预校准的相机和校准平面进行投影仪校准。首先，在相机坐标系中恢复校准平面。然后投影校准图案再用相机采集（如图26），由于相机和平板之间的空间关系已经恢复（相机已完成校准），可以通过将捕获的图像上的角点重新投影到平板上来确定校准平面上形成的棋盘图案的角点的3D坐标。最后，可以通过使用获得的点对应来校准投影仪。这种方法在理论上很简单，也比较容易实现。但是这些方法的标定精度在很大程度上取决于相机预标定的精度。

8. 3D表面成像技术应用案例

下面提供了几个3D成像技术有趣应用的例子。这些例子不是全部的的，由于空间的限制，在这里提供大量的应用示例。

8.1 3D人脸成像

人体各部位是3D成像的理想对象。每个人的身体部位都不一样。人体没有数字CAD模型，因此，每个身体部位都需要用3D成像技术进行建模。图27展示了作者开发的3D相机拍摄的3D面部图像。同时给出了3D表面数据的阴影模型和线框模型。3D面部成像有许多应用，从3D面部识别和整形手术到用户的3D脸的个性化制作。

8.2 3D牙科成像

图28展示了作者开发的3D相机拍摄的3D牙科图像。通常，一个单一的3D图像（左）覆盖了一个牙弓结构的一小部分。拍摄多个3D图像以覆盖一个牙弓的整个表面积，并使用3D镶嵌软件将这些多个3D图像片段无缝地拼接在一起，形成整个牙弓的3D模型（右）。

8.3 外科整形

3D成像系统使整形外科医生能够捕获和显示患者乳房的3D表面轮廓，用于评估、手术治疗计划、治疗后验证、患者交流和记录。3D相机能够捕捉所有 3D 表面数据$x、y、z$坐标和相关的2D图像纹理数据（颜色叠加）。 图29显示了一个使用3D成像技术进行3D手术计划的示例。医生和患者可以使用3D相机获取的患者特定的3D假体轮廓来检查基于植入物选择的模拟结果，帮助在给定体积测量和可能的不对称性的情况下确定合适的植入物。

8.4 定制助听器的耳压 3D 模型

根据美国国家耳聋和沟通障碍研究所（NIDCD）的统计数据，超过2800万美国人患有一定程度的听力障碍。目前生产定制助听器的过程是劳动密集型的，大约三分之一的返工率。3D成像技术可以取代传统的物理测压，从而消除与这种容易出错和不舒服的过程相关的成本和时间。数字压力测试使生产商能够利用计算机辅助设计（CAD）和制造（CAM）技术在一天时间内生产出定制助听器，更重要的是，数字压力技术可以提升定制产品的质量，增强受损患者的听力功能。

8.5 3D成像用于逆向工程

许多符合人体工程学的产品都是通过手动流程制作原型的，因此设计师可以获得形状轮廓的触感并对其进行优化，直到它“感觉良好”。 这种手工制作的原型可以通过使用3D摄像系统转换为3D CAD文件。图31显示了一个鼠标设计的3D CAD文件示例，该文件使用作者构建的3D相机进行数字化。

8.6 用于安全气囊分析的3D成像系统

高速3D表面和体积测量和跟踪能力对于表征安全气囊的动态行为非常重要，用以优化安全气囊设计，确保驾驶员和乘客的安全。传统上，在安全气囊爆发过程中测量其3D表面和体积是非常困难的。幸于先进3D成像技术的发展，快速精确获取安全气囊的3D表面和体积已成为可能。图32展示了测试安全气囊爆炸过程中获得的动态3D数据序列的一个示例。这些类型的3D数据有助于对气囊行为的定量分析，并为优化气囊设计提供了关键途径。

8.7 高速3D成像系统用于车辆碰撞试验

车辆冲撞最坏的情况是车内乘员的空间受到“侵入”，即车辆前部撞击后，乘客的座位空间收到挤压，撞击伤害与速度、位置和“受影响”的身体区域有关，而不是仅仅测量最后的冲撞情况。入侵也是侧向碰撞、翻车碰撞和其他碰撞模式中的一个有害因素。美国国家公路交通安全管理局（NHTSA）正在评估一种冲撞测试，作为未来可能的正面保护措施参考。为了有效和定量地评估这种影响，需要一个动态入侵传感系统，可以在阶段碰撞测试期间进行室入侵的动态测量。高速3D成像技术能够提供碰撞测试过程中车辆各部件结构变形的准确、定量的测量数据。图33显示了一个使用各种3D数据可视化模式进行测试的门面板的全帧3D图像的示例。

8.8 3D成像技术用于事故现场调查

交通事故现场可能非常复杂，许多情况解释存在争议，而且法律代表很难精确地进行沟通。其中可能出现的争议往往会导致昂贵和耗时的法律程序。3D成像技术可以帮助准确地记录事故现场，从而为法律和保险案件提供一个有效的工具。3D事故现场重建可以清晰有效地解释现场情况，足够数量的图像可以重现整个事故现场。

9. 结论

本文全面回顾了结构光3D表面成像技术的最新进展，以及它们在各种领域的应用示例。我们建立了一个分类框架，以适应3D成像技术的巨大变化，以系统的方式组织和呈现。简要描述了具有代表性的技术，并提供了插图，以帮助读者掌握他们的基本概念。同时综述了3D成像系统的性能指标，并给出了相机和投影仪的校准技术。本文展示了一些3D成像技术应用的例子。

到目前为止，如此多的3D成像技术被发展出来是有原因的。没有一种技术可以适用于每一个应用场景，每种三维成像技术都有自己的优缺点。当为特定的应用选择3D成像技术时，我们鼓励读者在其特定的应用需求之间进行仔细的权衡，并考虑准确性、分辨率、速度、成本和可靠性等关键性能指标。有时，将需要多模态传感器系统来解决单一模态无法满足的需求。

3D成像是一种跨学科技术，包含光学设计、结构设计、传感器技术、电子、包装和硬件、软件。传统上，这些学科的3D成像研究活动或多或少是独立进行的，并有不同的重点。最近3D成像研究的趋于集成的方法，有时也被称为“计算成像”方法，即同时考虑光学设计、传感器特性和软件处理能力。这种新方法有望显著提高未来3D成像系统的性能和性价比，是未来3D成像技术发展的一个重要方向。

3D成像技术领域仍然相当年轻，与2D技术领域相比，几十年来已经投资了数十亿美元。希望我们在开发和将3D成像技术应用于各方面应用的工作，能够为这一迷人领域从理论到应用研究的人才提供一定的刺激和吸引力。