高光谱和压缩感知
一. 高光谱技术
1.1 高光谱概述
普通光谱：有限的波长内采集光谱数据（可见光谱范围），只蕴含颜色信息，相当于只有R、G、B通道
多光谱： 在特定波长范围内选择几个离散的波长点进行数据采集（反射光谱特征峰差异很小，需要更高的分辨率）
高光谱具有更广泛的波长范围内采集连续的光谱数据（插值拟合），从而提供更多关于物体成分、结构和特性的信息
相对于传统的图像技术，高光谱可以采集到可见光之外更丰富的信息，包括红外线、紫外线等
光谱维度上有N个通道，通道数是由波段数决定的，使用200*200像素并选择300个波段，成像结果为200*200*300的三维立体图像
高光谱技术实现光谱空间的离散采样，能区分的目标物在波谱空间具有明显的差异性
每个光谱通道记录了该波长范围或波长点上的光谱反射（发射）强度
应用：作物健康监测、土壤质量评估、大气污染和水质状况监测、勘测矿藏岩石组成、癌症诊断和组织病理学研究
1.2 成像原理
普通照相机基于人眼对红绿蓝三原色的敏感程度，传感器由数百万微小光敏原件（像素）组成
每个像素包含一个光敏原件和一个滤光片，普通照相机有红绿蓝三种滤光片，允许通过这三种波长范围的光线
每个光敏原件测到的光的强度被转化为电信号，通过数字转换变为数字图像数据
高光谱成像具有更多的通道，能够采集更为广泛的光谱信息
1.3 高光谱成像技术
主要有光栅分光、声光可调谐滤波分光、棱镜分光、芯片镀膜
-
光栅分光（同时采样多光谱，拼接空间维度）
一维图像上的每个点，经过光栅进行衍射分光，形成一条谱带，照在探测器上，
一维图像展开成二维光谱图像，位置和强度分别表征相应光谱和其强度，通过机械推扫，完成采集（三维数据） -
声光可调谐滤波分光（采样空间信息，拼接光谱信息）
不同频率的震动产生不同的声波，使得晶体发生布拉格衍射，实现滤波器的效果，让晶体只能通过一种波长的光 -
棱镜分光（同时采样空间和光谱信息）
入射光经过棱镜分成不同方向，照射到不同探测器上，棱镜出射面镀了不同波段滤光膜，能同时采集空间及光谱信息 -
芯片镀膜（同时采样空间和光谱信息）
探测器的像元上镀不同波段的滤波膜，可以同时获得光谱信息和空间信息
高光谱成像系统：光源（特定波长范围）、分光设备（混合光分散为不同频率的光）、面阵相机、传输机构（拼接空间信息）、计算机软硬件
1.4 全色/光谱融合技术
全色图像是一种包含所有可见光波长范围的图像，具有更高的空间分辨率，通常以灰度图像的形式呈现
全色多光谱融合技术的目标是将全色图像的高分辨率信息与多光谱图像的多光谱信息结合起来
以获得同时具有高空间分辨率和多光谱信息的图像
这种融合可以通过不同的算法和方法来实现，其中一种常用的方法是使用像素级融合技术
在像素级融合中，全色图像的高分辨率信息被转移到多光谱图像中，以保留多光谱图像的光谱特征
这可以通过将全色图像进行降采样，使其空间分辨率与多光谱图像相匹配，并将其信息融合到多光谱图像中的相应波段中来实现
之所以要进行融合，一方面是成本原因，另一方面由于光的能量是有限的
一个光子在采集过程中只能使用一次，如果分出更多波段的光，必然会使得分辨率降低
而波段的采集是有限的，只进行多光谱采集，进而融合多光谱信息得到的全色图像不如直接采集的有效
1.5 思考
纯红色的光照到纯蓝色物体上，呈现为较暗的黑色
这是因为物体的光谱本质上是由于组成它的原子吸收了特定波长的光造成的
组成物体原子的电子能吸收特定波长的光子进行跃迁
所以我们也能使用特定范围波段的光源，探测物体在对应波段的吸收情况（光谱信息）
二. 压缩感知
2.1 压缩感知概述
在我们将模拟信号转化为计算机能够处理的数字信号时，必然要经过采样过程
奈奎斯特采样定理证明了要保留完整的信号采样频率必须大于信号中最高频率的两倍（小于两倍会使信号发生混叠）
压缩感知算法可以使用稀疏表示，从少量测量数据中恢复出完整的信号
如果信号是稀疏的，那么它可以由远低于采样定理要求的采样点重构恢复
本质上是在采样的过程中完成了压缩
即我们在全采样获取完全信号，然后又进行变换压缩的过程时，可以一开始少采样，在采样的时候完成压缩
2.2 稀疏变换压缩
离散余弦变换（DCT）压缩、小波变换压缩都是基于频域的压缩方式，同样利用到图像在对应频域上的稀疏性，属于有损压缩
傅里叶变换使用正弦和余弦函数作为基函数、DCT使用实数值余弦函数作为基函数、小波变换使用小波函数作为基函数
-
DCT压缩
将图像转换为一组频率分量，其中高频分量表示图像的细节和纹理，而低频分量表示图像的整体结构。
在DCT压缩中，较高频率的系数通常被量化为较小的值，因为它们对图像质量的影响较小
通常情况下，图像在频域上的高频分量相对较少，即稀疏性较高。因此，通过对高频分量进行量化和编码，可以实现较高的压缩率。 -
小波变换压缩
将图像分解为不同尺度和频率的子带，其中高频子带表示图像的细节和纹理，而低频子带表示图像的整体结构。
与DCT类似，图像在频域上的高频子带通常较为稀疏，即包含较少的显著信息。通过对高频子带进行量化和编码，可以实现较高的压缩率。
2.3 压缩感知原理
当我们进行采样的时候，用到的采样频率意味着我们的采样是等距采样，这种方式在采样点不足的时候，必然会发生混叠
压缩感知使用随机不等间距亚采样，由于信号稀疏以及主要频率幅度更大，
我们同样可以捕捉到主要频率分量，从而对主要的几个频率分量进行重构处理
从周期延拓角度来看，随机采样使得频谱不再是整齐地搬移，而是一小部分一小部分胡乱地搬移
频率泄露均匀地分布在整个频域，因而泄漏值都比较小，从而有了恢复的可能
压缩感知使用前提
- 稀疏性：信号在频域（任一变化域）稀疏，由较少的非零值构成，或大部分趋于0
- 不相关性：采用随机亚采样机制，使得频率泄漏均匀分布在整个频域
2.4 压缩感知算法
采样算法
- 随机矩阵乘积（RMM）
原始信号与随机矩阵相乘来获取观测信号，这个随机矩阵通常是由高斯分布或者伯努利分布生成的，需要进行大量的随机测量 - 稀疏基
假设信号可以通过某个稀疏基表示，然后通过测量信号在这个稀疏基上的投影来进行采样
常用的稀疏基包括小波基和字典学习方法得到的稀疏基，需要事先知道信号的稀疏基
重构算法
- 匹配追踪（MP）： 通过迭代的选择最相关稀疏基向量，逐步重构信号
- 正交匹配追踪： 每一步迭代中选择的基向量是互相正交
- 迭代硬阈值：低幅度系数置0
- 迭代软阈值：将低幅度系数进行收缩
迭代过程中需要使用其他优化算法
2.5 数学本质
实际信号数据就像是一个高维矩阵，通过与稀疏矩阵（稀疏变换）和观测矩阵（随机亚采样）运算，得到最终的采样数据
重构实际上就是解这个矩阵方程的一个过程，只有信号在某个变换域中是稀疏的，才能使得方程有解
同时观测矩阵需要与稀疏表示基不相关，独立同分布的高斯随机测量矩阵可以成为普适的压缩感知测量矩阵
总而言之，如果一个信号在某个变换域是稀疏的，那么就可以用一个与变换基不相关的观测矩阵将高维信号投影到低维空间
然后通过求解一个优化问题，可以从少量的投影中以高概率重构出信号
哲学思考
关于世界是离散的还是连续的的问题始终是哲学上的一大问题
古代芝诺悖论试图证明运动和空间时连续的，笛卡尔同样认为世界是连续的
康德认为这是我们主观感知的一部分，无法确定时空本质，哥德尔的不完备性定理同样认为我们无法确认世界的本质
爱因斯坦的相对论框架认为时空是连续的，量子力学哥本哈根学派不确定性原理暗示了微观的离散型
众所周知的普朗克长度似乎代表了空间的最小量子结构
启发在于，我们现实所作的一切观测、采样和测量，实际上都进行了压缩
把观测到的连续的信息，压缩成了某一瞬时能够处理的信息
例如电影的30帧动态效果好于120帧的实时光追图像，实际上是在拍摄曝光时，压缩了对应的动态信息，实现了动态模糊的效果
光谱探测时，也不存在某一个波长点的光谱，所处理的必然是一小段范围的光谱信息
