计算成像最新进展及应用
推荐：
计算成像资料笔记 -https://www.cnblogs.com/wxl845235800/p/9040753.html
摘要：
所谓“计算”，就是将成像系统与后置的特征提取计算步骤看成一个整体，设计一种新型的成像系统一一 “计算成像”，使得成像系统的目的不再是满足人们的视觉要求而是提供满足智能应用所必须的鲁棒和智能功能，实现“从3D到信息”的跨越。本文主要对计算成像的最新进展和应用进行论述。
关键词：计算成像、最新进展、应用
1. 绪论
在许多情况下，传感器设计的最终目标不再是为了得到一个高分辨率的图像信号，而是仅收集图像理解算法需要收集的信息，以利于机器自动抽取需要的信息，实现“从3D到信息”的跨越。这样就可以在很大程度上回避目前出现的所谓数字媒体“存不起、查不准和管不住”的突出问题。这种将成像与后置的特征提取计算相结合的思想，就是所谓的“计算成像”。“计算成像”思想的提出，可以在很大程度上节约资源，更加符合节约型社会的要求。
近年来蓬勃发展起来的计算成像方法，尤其是基于压缩感知理论的计算成像技术，为多维信息高分辨率成像方法带来了新的机遇，受到了国内外学者的广泛关注。
2. 最新进展
高分辨率多维信息获取技术研究是国家中长期科学和技术发展规划的任务之一。高分辨率探测成像是其中一个重要的研究和探索方向，尤其在航天遥感、医疗诊断、军事侦查等领域高分辨成像需求迫切。传统成像方法通过在传感器像元与场景之间建立一种直接的一一对应关系来获取图像，成像效果严重依赖传感器性能（像元密度，灵敏度等），且存在二维传感器阵列无法实现高分辨多维信息（空间-谱间-时间）快速获取等问题。
2.1 2013年进展
西安电子科技大学高大化博士针对传统成像方法分辨率严重依赖相机传感器阵列密度的问题，提出一种基于运动随机曝光的高分辨率编码感知计算成像新方法。在编码感知阶段，设计了运动随机曝光模式，用一个较低分辨相机相对场景运动，在运动的同时通过随机编码序列控制快门闪动实现高速曝光，运动结束后完成场景的编码混叠采样；在优化反演阶段，利用场景的先验知识，构建相应的稀疏重建模型，重构出高分辨率图像。该成像方法能够实现较低分辨率相机的高分辨率成像，有效解决了传统方法成像分辨率严重依赖相机传感器阵列密度的问题，特别适用于由于成本、功耗、体积、重量、存储与传输等限制而无法使用高性能传感器的场合，如星载对地观测遥感成像。
针对传统Demosaicking（去马赛克）方法存在重建效果不理想、拉链虚假色现象严重等问题，从编码感知计算成像的角度重新审视彩色图像Demosaicking过程，提出了一种基于图像稀疏模型和自适应PCA（PrincipalComponent Analysis）的Demosaicking方法。该方法通过彩色图像成像模型和光谱特征来描述各颜色分量间稀疏性，通过自适应PCA来挖掘空间维稀疏性，并将二者结合，建立了1-范数最小优化正则模型，并设计了优化求解算法。该方法能提高重建全彩色图像的抗噪能力，结果优于大多数现有Demosaicking算法，实际成像结果也显示出了更好的视觉效果。
针对星载（机载）遥感推扫式光谱成像中空间分辨率和光谱分辨率受制于传感器阵列点阵密度的问题，及空间分辨率和光谱分辨率难以兼得的问题，根据编码感知计算成像框架，提出了一种基于高速快门闪动的高分辨率遥感光谱计算成像新方法。该方法在不改变相机结构和传感器密度的条件下，通过控制高速快门闪动来进行随机编码曝光，产生混叠效应，实现多个像素点与一个传感器像元对应，将丰富的场景信息压缩采样到少量的观测数据中。最后利用优化反演方法对混叠采样信号进行处理，重构出高分辨率图像。该方法无需提高传感器阵列密度，只需控制电子快门曝光和数据处理，就可以做到在保持较高光谱分辨率的前提下，较大提升光谱图像的空间分辨率。
针对上由于快门闪动遮挡一部分光线，从而减少了曝光时间，导致信噪比下降及部分场景信息丢失的问题，设计了另一种随机编码曝光方式，提出了基于反射角高速切换的编码曝光方法。该方法采用一个高速转镜将入射光分为两路，同时进行互补随机编码曝光调制，这样场景中所有像素全部参与了混叠，保留了足够的信息。最后利用场景稀疏性构建优化反演模型，重构出高分辨率光谱图像。
中国科学院上海技术物理研究所空间主动光电技术重点实验室基于压缩感知理论， 在单点探测计算成像的基础上， 通过在成像系统后面搭建色散光路， 利用 ＤＭＤ这一特殊编码孔径模板代替传统狭缝， 实现孔径的扩展，因此大大改善了“ 狭缝”光谱仪中点对线成像特点中信噪比降低的问题。该方法在不提高传感器阵列密度， 保持较高的光谱分辨率的前提下， 大幅提升了光谱图像的空间分辨率。
孙崇尚等人将透镜系统的比例法则推广到计算成像领域,证明计算成像的方法可以在更小的相机尺寸时获得更高的分辨率。在此基础上研究宽视场高分辨成像。
2.2 2014年进展
中国科学院研究生院（光电技术研究所）余金清针对光场相机成像和计算集成成像两种典型的微透镜计算成像方法进行相关研究。结合光场相机的结构特点，分别构建了两种类型光场相机的成像与重聚焦功能算法。结合几何光学原理，对计算集成成像的重建方法进行相关研究。结合多基线立体测距方法，利用多幅不同视角的计算集成成像子图对空间物体进行测距，构建了相关的测距算法。提出了基于计算集成成像目标提取方法，实现了复杂场景中多个目标物体的提取，为复杂场景多目标提取提供了一种新的解决办法。
苏州大学孙建超将光学系统与计算机数字图像处理系统结合在一起进行综合优化，在传统光学成像系统中增加光学编码器件，利用相位编码技术对光信息直接进行编码，经探测器采样后，再通过计算机进行信号重构，获取高质量的可视图像。涉及的计算成像方法主要是对光信息进行相位调制，相比振幅调制，相位调制对信号的强度损害较小，探测到的信号信噪比较高，更有利于探测微弱信号。分别针对相干光成像和非相干光成像这两种情况，讨论了两种相位编码成像方法，分别是频谱面相位编码成像和相位编码随机投影成像，利用光学器件实现数据压缩，实现信号的低分辨率采样，高分辨率信号复原。主要功能包括：(1)降低采样数据量；(2)低分辨率信号采样,高分辨率信号恢复；(3)突破衍射极限成像。
安徽大学康健研究了基于计算成像的识别，在计算成像识别方法的新框架下，研究Gabor小波+局部特征提取+核通用矢量判别(Kernal Discrimination Common Vector, KDCV)+支持向量机(Support Vector Machine, SVM)识别算法在人脸识别、表情识别和性别识别上的应用。给出了一个基于计算成像思想的轮廓监测识别系统,该系统通过红外激光主动的提取目标的轮廓信息,然后根据轮廓信息进行分类识别,有效的减少了资源的浪费,该系统已经获得了软件专利。
2.3 2015年进展
南京理工大学智能计算成像实验室研发基于智能计算成像的三维定量相位显微镜（SCscope）。显微镜的研发团队成员、电光学院研二学生林飞介绍，目前常用的细胞显微镜观测需要对细胞进行染色或标记，或通过外界激发光源对细胞成像进行分析，但这些标记以及长时间的暴光往往对细胞有一定的伤害，甚至导致细胞的死亡，无法获知细胞真实状况。而他们的“SCscope”显微镜不但不用把活细胞染色，而且可以看到三维立体的细胞，并且任意视角观察，“可以生成高达2.8亿像素的‘全视场、高分辨’图像，这就好比在一张千人大合影中，可以看清每个人脸上的痣。”“显微镜经过400多年的发展，仍然没有摆脱‘可见即所得’的传统成像模式，而他们采用‘计算成像’的全新概念，这为显微镜的功能与性能带来了跨越式的提升。”该项目指导老师左超说，该作品还在同一系统中集成了多种专用显微镜的成像功能，且可以做到“一键切换”，有效促进了显微镜的功能多样化、操作简便化、成本低廉化。
3. 应用
近年提出的计算成像，因其对器件的性能要求不高、存储信息量不大，且操作方便成本低廉等优点，正在被越来越多的应用到航天遥感、医疗诊断、军事侦查及移动成像等领域。
2014年，作为领先的手机和数码相机计算机成像技术方案供应商，FotoNation有限公司宣布魅族的新款MX4 & MX4 pro手机平台中使用FotoNation计算机成像技术。通过运用FotoNation开创性全套成像架构和功能，MX4 & MX4 Pro通过简单、直观的界面使客户捕获到动态图像和视频。智能手机平台支持FotoNation全景、美颜等新增功能，这都归功于10年来不断发展、调整计算成像法。
同年，Magic Leap可穿戴增强现实技术所描述的显示器能够创造出我们从周围的真实物体吸收的那种3D光线形态（名为“光场”）。据维兹斯坦和其他的研究人员解释，这可让你的眼睛跟在现实世界中那样聚焦于人工3D场景的深度，从而带来一种要逼真得多的虚拟物体跟现实世界相融合的幻象。7月的商标申请文件显示，Magic Leap的技术被描述为“可穿戴计算机硬件，即整合动态光场显示器的光学显示系统”。 Magic Leap的另一项专利申请文件称，可以利用摄像头、红外传感器和超声波传感器来感知人周围的环境，以及识别人的姿态。感测空间深度的摄像头现在相对便宜，且体积较小。但维兹斯坦认为，Magic Leap很可能需要在可穿戴设备的计算机视觉软件上作出重大突破，进而足够了解周围世界，实现非常丰富的扩增实境体验。
同年，福特携手英特尔打造未来车载移动内部成像技术，这项名为“移动内部成像”，或“Mobii”的联合研发项目，旨在探索通过集成内部摄像机与传感技术及已生成的车内和周围数据，使驾驶者与车辆实现更加个性化的无缝连接，创造非凡驾驶体验。Mobii项目是由英特尔人种学家、人类学家、工程师与福特研发工程师通力合作的结晶，他们利用感知计算技术提供更有趣、直观的车辆体验。Mobii项目将研究探讨内部摄像机在驾驶者授权等方面的全新用途。面部识别软件的使用不仅可增强隐私保护，也让Mobii可识别不同的驾驶者，并根据个人偏好自动调节各项功能。
Project Tango独特的视频处理芯片Myrid VPU来自硅谷的初创公司Movidius，该公司一直致力于将PC等级的图像处理能力带向移动设备。Movidius的CEO Remi El-Ouazzane认为计算成像（computational imaging）是摄影的第三次变革。第一次是胶卷摄像，第二次是数码摄像。通过计算成像，相机能够增加深度识别功能，或者加快自动对焦速度，并让全景摄像也能有HDR的效果。通过和英伟达K1图形处理器的搭配使用，Myrid让Project Tango拥有实时处理3D 图像的能力。NASA的SPHERE计划也使用了Tango手机作为机器人的处理中枢，而SPHERE的主要功能就集中在对太空舱内环境的判断，这需要强大的图像处理能力。日前，在2016年消费类电子产品展览会（CES） 上，联想正式宣布联手谷歌，推出全球首款Project Tango技术驱动的消费类移动设备。这款新型智能手机搭载高通骁龙处理器，将于2016年夏季面世。其独特之处在于手机屏幕能够变身具有魔力的窗口，于真实世界上覆盖数字信息与对象，实现虚拟与现实的融合。目前，联想、谷歌、高通三方正密切合作优化产品的软硬件，以确保消费者未来能够在Project Tango技术支持的产品中获得最佳用户体验。谷歌的Project Tango科技平台，通过采用先进的电脑视觉，深度感应和移动跟踪技术，绘制出周围世界的3D 模型，让用户能够通过智能设备探索真实空间。利用专有的软硬件，设备能够追踪用户的每一个动作，比如前进、后退或侧倾。Project Tango技术支持的设备还能识别以前去过的地方，比如用户的客厅、办公室或公共场所。与GPS定位不同的是，Project Tango的移动跟踪技术可以应用于室内，这就意味着用户能在购物中心里获得精准的定位与导航，甚至能够在具备相关信息的情况下，找到商场里的某一款特定商品。通过内置传感器，Project Tango设备还能捕捉房间的3D影像，给出房间的实际尺寸，为用户购买家具或装修提供参考。
4. 参考文献
[1] 高大化.基于编码感知的高分辨率计算成像方法研究[D].西安：西安电子科技大学，2013
[2] 马彦鹏.基于压缩感知的单点探测计算成像技术研究[J].光学学报，2013-12-10
[3] 余金清.基于微透镜阵列的计算成像研究[D].北京：中国科学院研究生院，2014
[4] 孙建超.基于相位编码技术的计算成像方法研究[D].苏州：苏州大学，2014
[5] 康健. 从传统到计算成像的识别研究[D].安徽：安徽大学，2014
[6] 孙德尚. 基于计算成像的宽视场高分辨相机研究进展[J].激光与光电子学进展，2013-03-10
【转载自】
计算成像最新进展及应用_百度文库 https://wenku.baidu.com/view/27f37bc65122aaea998fcc22bcd126fff7055d0c.html
