无人机
摘要:随着无人机(UAV)和轻型高光谱成像(HSI)传感器的快速发展,微型无人机载高光谱遥感(HRS)系统得到了发展,并显示出巨大的应用价值和潜力。与星载和机载HSI系统相比,微型无人机载HSI系统的制造和运行成本相对较低,因此成为HRS领域的一个新的研究热点。本文从无人机平台、小型化高光谱传感器、系统集成、数据观测和预处理等方面介绍了无人机载高光谱遥感的最新进展。此外,还介绍了无人机在农业、林业、地质、环境监测等领域的成功应用案例,并讨论了无人机机载系统的现状和发展趋势。
关键词:目标识别;无人机;高光谱成像;农业应用;
A Review of Face Recognition Algorithms Based on Neural Networks
Author:Liao Yixiong Tutor:Jiang Haiyan
Abstract: With the rapid development of unmanned aerial vehicle (UAV) and light-duty hyperspectral imaging (HSI) sensors, the hyperspectral reflectance (HRS) system onboard micro-UAV has been developed and has shown great application value and potential. Compared with the space-borne and airborne HSI systems, the manufacturing and operating costs of the micro-UAV-borne HSI system are relatively inaccurate. Therefore, it has become a new research focus in the HRS field. Here we introduce the latest developments in UAV platform, miniaturized hyperspectral sensor, system integration, data introduction and UAV. , It also introduced successful application cases of UAVs in agriculture, forestry, geology, environmental monitoring and other fields, and discussed the current status and development trends of UAV airborne systems.
Key words: Target recognition; UAV; Hyperspectral imaging; Agricultural applications;
引言:近年来,随着无人机和轻量化高光谱成像仪的快速发展,无人机载高光谱遥感技术得到了飞速发展,在农业、林业、地质、环境监测等领域显示出巨大的潜力。与机载和星载HRS相比,无人机载HRS具有成本低、灵活性强、时空分辨率高等优点。此外,作为一种低空遥感技术,它弥补了机载和陆基HRS的观测尺度差距。本文从无人机平台、高光谱传感器、系统集成、数据观测、后处理和应用等方面对无人机载雷达进行了全面的综述。
1概述
HSI系统可以获得丰富的地表光谱信息,这使得精确识别和区分物质成为可能[1]。作为一项特别重要的技术,HRS已广泛应用于地质、农业、林业、环境监测等领域[2]-[9]。对HSI的研究起源于NASA喷气推进实验室,在那里第一个HSI系统--机载成像光谱仪于1983年问世[10]。此后,随着高速集成电路技术的迅速发展,许多航空、星载光谱仪相继研制成功,并在遥感领域得到应用。成熟的机载HSI系统包括机载可见光/红外成像光谱仪(AVIRIS)[11]、高光谱映射器[12]、推扫式高光谱成像仪(PHIS)[13]、地球物理和环境研究成像光谱仪(GERIS)[14]、高光谱数字图像采集实验[15]和紧凑型机载光谱成像仪(CASI)[16]。在星载HRS系统出现之前,机载HSI一直是HRS图像的主要来源。成功的空间HRS飞行任务包括2000年11月发射并于2017年3月退役的NASA地球观测-1卫星上的Hyperion仪器[17];欧洲航天局(欧空局)2001年10月发射的机载自主飞行项目的紧凑型高分辨率成像光谱仪[18];以及2018年5月发射的中国民用高分-5卫星上的先进高光谱成像仪。一般而言,由于制造和运营成本相对较高,机载和星载HRS任务由政府或美国国家航空航天局(NASA)和欧洲航天局(ESA)等大型组织发射和运营。近年来,无人机载HSI系统作为一种便捷的高光谱数据采集手段引起了人们的广泛关注。无人机载HSI系统是在无人机产业[19]快速扩张和高光谱成像仪小型化的趋势下发展起来的。一方面,微型和微型无人机不断提高航电、最大起飞重量(MTOW)、紧凑性和耐久性,这使得它们有可能成为低空HRS平台。另一方面,由于诸如大幅面探测器阵列、法布里-珀罗涉仪(FPI)[2]和快照光谱成像[3]等光谱仪的光学制造的进步,高光谱成像器正变得更加紧凑和重量更轻。这些因素都促成了无人机载HRS系统的出现。为便于讨论,我们根据空间分辨率、条带宽度、操作风险、重复率和成本等方面对星载、机载和无人机载HSI系统进行了比较。星载HSI系统,如Hyperion、Chris和AHSI,具有更大的带状宽度,但相对较低的空间和时间分辨率,以及较高的制造和发射成本。
无人机采集数据图
人与星载HSI系统相比,AVIRIS、PHIS和CASI等机载HSI系统具有更高的空间分辨率。然而,机载HSI的缺点是其复杂性、高操作风险和高成本。由于机载HSI系统的操作费用极其昂贵,机载HRS系统不适合用于常规环境监测。相比之下,无人机载HSI系统提供了经济、安全、灵活和高空间分辨率的HRS观测解决方案,降低了HRS应用的门槛。由于制造和运营成本低,HRS图像很容易获得,数据生产者不再局限于资金雄厚的组织。灵活性是无人机载HSI系统的另一个优势,这对于灾难应急响应特别重要[2]。具体地说,与卫星相比,无人机可以在任何时候以更少的限制观测特定的研究区域,并且可以快速获得高光谱图像。此外,作为低空HRS平台,无人机载观测缩小了机载和陆基HRS的观测尺度差距。厘米级的空间分辨率使得在冠层尺度上精确分析植物成为可能。然而,无人机载HSI系统的主要缺点是耐久性和带状宽度有限,不适合超大规模的航测。总而言之,无人机载HRS系统以其低成本、灵活性、低操作风险、高空间分辨率和高光谱分辨率为小型遥感任务提供了无与伦比的解决方案。
2小型无人机载HSI系统
根据遥感的应用要求,无人机载HSI系统一般包括以下几个部分。首先,需要一个具有足够有效载荷的微型无人机平台,用于轻型高光谱传感器;从飞行安全和可操作性来看,其飞行高度应低于500米,MTOW应在30公斤以内。第二个要求是一个轻量级的高光谱成像仪;根据无人机的有效载荷和耐久性之间的权衡时间,高光谱成像仪的重量应小于2.5千克。第三,应将辅助设备集成到系统中:这些设备包括用于控制帧频、曝光时间和数据存储的微型计算机;全球导航卫星系统(GNSS)模块;以及用于导航和几何校准的惯性导航系统(INS)模块。最后一个要求是自动飞行控制系统及其软件,从而允许最终用户设计和计划HRS任务。
2.2用于HRS的无人驾驶飞行器
无人驾驶飞行器,也被称为无人机或无人驾驶飞机系统(UAS),是由计算机或地面上的人类飞行员控制的飞机[5]。近年来,无人机在遥感任务中得到了广泛的应用[1]-[3],大致可分为固定翼无人机和旋转翼(直升机和多旋翼)无人机。表1列出了一些可用于HRS任务的常见固定翼、直升机、多旋翼和混合无人机,以及它们的重量、续航时间和最大有效载荷重量等相关特性。一般来说,多旋翼和固定翼无人机是遥感任务的首选方案。与旋翼无人机相比,固定翼无人机只需要动力就可以前进,这通常提供了更长的飞行续航时间,并且在单次飞行中可以调查更大的研究区域。固定翼无人机的主要缺点在于其起飞模式。由于固定翼无人机不能垂直起飞和降落,它们需要合适的空间来发射和降落,比如跑道或蹦极发射器。相比之下,旋转翼无人机(即直升机或多旋翼)依靠每个手臂上的螺旋桨产生的升力,需要较少的起飞和降落空间。直升机无人机只有一个主旋翼和一个尾旋翼来控制航向。直升机无人机的主要优势是垂直起降(VTOL)能力和大的最大有效载荷重量。与此同时,直升机无人机的缺点也很明显,涉及到成本、运输和飞行安全。与固定翼和直升机无人机相比,多旋翼无人机因其成本低、稳定性高、机动性高、对起降空间的要求较低而成为HRS任务的首选。多旋翼无人机的主要缺点是它们的耐力和有效载荷重量,这意味着它们不适合执行大规模、长寿命的调查任务。混合动力无人机是近几年发展起来的一种为垂直起降飞行集成旋翼的特种固定翼无人机。这些混合无人机展示了多旋翼和固定翼无人机的所有优点,如垂直起降、耐力长和最大有效载荷重量大,很可能成为无人机市场上的有力竞争者。
为了执行无人机载HRS任务,与无人机平台相关的一些其他部件应该是HRS系统的一部分,包括GNSS/INS模块和地面控制站。GNSS/INS模块是无人机系统中最重要的部件之一,与无人机的飞行控制器集成在一起进行飞行控制和导航。具体地说,GNSS模块以厘米级的精度自动计算和定位无人机的地理坐标,而INS模块的目标是跟踪无人机在横摇、俯仰和偏航方面的旋转。两个模块协同工作,稳定飞行姿态,实现自动驾驶。我们请读者参阅[31],以便更全面地了解GNSS/INS模块。请注意,除了飞行中的GNSS/INS模块控制器外,还需要一个额外的GNSS/内部测量单元(IMU)模块来与PHI集成,其精度决定了几何校准的精度。在实际的HRS应用中,GNSS/IMU模块根据预算、重量、大小和所需精度有多种选择。地面控制站(GCS)是一个硬件/软件控制中心,由人类飞行员用来控制无人机载高光谱系统。商用GCS软件通常提供各种有用的功能,包括飞行路线规划、一键起降、自动驾驶、电池寿命和飞机状态监控。因此,无人机载HRS系统可以根据预先设计的飞行计划自动捕获数据,使HRS任务既智能又高效。
2.3小型化高光谱成像仪
近年来,通过降低高光谱成像仪的尺寸和重量,许多仪器制造商,如Headwall Photonics[8]、ITRES[9]、Specim、SENOP[2]和HySpex[3]都推出了紧凑、轻便的产品,并提供了完整的无人机载HRS解决方案。总结了市场上典型的高光谱成像仪,根据其光谱范围将传感器分类为四组:可见光和近红外(VNIR),400-1000 nm;短波红外中波红外为3~5μm,长波红外为8~14μm,由于任何中波红外或长波红外传感器阵列都需要内部热调节制冷器来降低背景噪声,因此很难实现中波红外和长波红外传感器的小型化。如表2所示,单个MWIR或LWIR传感器通常在15千克以上,这超过了大多数商用固定翼和多旋翼无人机的起飞有效载荷。相比之下,VNIR和SWIR高光谱成像仪可以在不损失光谱精度的情况下小型化,并经常被用于无人机载HRS。如表2所示,根据获取高光谱立方体的基本技术,无人机载仪器可分为四类:推扫式、快照、光谱扫描和空间光谱扫描。推扫式成像技术是机载和星载高光谱解决方案中最常用的成像技术,也是VNIR和SWIR成像仪的主流成像方法。典型的无人机携带推扫式仪器包括Headwall Nano-Hyperspec、ITRES Micro-SASI和HySpex SWIR-384成像仪。推扫式传感器是一种线成像仪器,二维探测器阵列的一个轴记录条带的空间位置,另一个轴获取每个空间点的全部光谱信息。然后,通过跨越仪器的入口狭缝的运动获得数据立方体[2]、[3]。推扫式传感器的优点是可以同时测量沿线所有点的光谱信息。在无人机载HRS任务中,推扫式高光谱立方体的精度是传感器帧率、相对飞行速度以及传感器姿态和位置信息的函数。因此,为了重建精确的立方体,推扫式传感器通常需要一个稳定的无人机平台,使其能够在直线上均匀运动,并需要一个GNSS/IMU模块来记录准确的姿态和位置信息,以便进行后处理。近年来,在VNIR光谱范围内的其他先进成像技术,如快照成像[2]、光谱扫描[4]和空间光谱扫描,已经被应用于HRS领域。快照(非扫描)光谱成像仪可以在一次快照中捕获高光谱立方体,而不需要任何空间扫描,这可以归因于大幅面探测器阵列,使得同时测量数百万体素成为可能。如表2所示,典型的无人机机载产品是BaySpec OCI-D2000[94]和Cubert UHD185[5]成像仪。快照成像的核心优势是数据采集时间较短。结果,可以以视频帧速率捕获连续的高光谱立方体。由于其非扫描成像,快照成像具有更严格的图像几何结构,并且可以避免由运动引起的伪影。此外,由于高光谱立方体序列是在飞行期间捕获的,因此可以基于运动结构(SfM)技术来估计场景的三维(3-D)结构[5]、[3]。推扫式成像仪记录空间线的光谱信息,而快照光谱成像仪用相同大小的探测器阵列记录整个场景的光谱信息。因此,在光谱通道和空间像素之间存在折衷,快照成像器的空间和光谱精度通常低于推扫式传感器。SENOP[2]Rikola成像仪是基于可调谐FPI[2-4]的光谱扫描仪器的典型例子。它已广泛应用于无人机载HRS任务。Rikola传感器是一种基于帧的成像器,它按顺序曝光各个波段以捕获整个数据立方体,并且光谱通道和空间像素的数量是可调的。光谱扫描技术的主要缺点是在逐个波段的光谱扫描过程中,传感器的位置和姿态改变导致的运动伪影。由于光谱波段在原始数据立方体中不完全匹配,因此在后处理期间应考虑波段失配校正[8]。空间光谱扫描技术于2014年引入[2];在这里,扫描过程中的每一帧都可以被视为整个高光谱立方体的一个对角切片。IMEC[6]制造的ADIMEC VNIR和SnapScan VNIR传感器就是典型的例子。这两款相机的基本原理是一致的,但基于ADIMEC VNIR传感器的无人机机载系统相对于场景的移动和SnapScan VNIR传感器的内部扫描机制,收集高光谱立方体的方式略有不同。因此,ADIMEC VNIR传感器的工作方式与行扫描成像相同,而SnapScan VNIR传感器则需要无人机在某一地点短暂悬停以进行内置扫描。
3无人机载高光谱观测在农业中的应用
在农业领域,UAV机载HRS系统的高光谱分辨率(即200多个波段)、空间分辨率(即厘米)和时间分辨率(即每日观测)使得对作物进行更精确的分析成为可能[2],[3]。目前,无人机载HRS系统主要用于农艺参数反演[3]、[7]、[8]、和精确分类[5]、[6]。叶面积指数(LAI)、作物水分胁迫指数等农艺参数反映了当前作物的生长发育状况,其估算对作物生长调控和产量预测具有重要意义。由P.J.ZarcoTejada领导的定量遥感研究方法实验室在无人机载HRS系统的基础上做了许多有代表性的工作,该系统由一架固定翼无人机(E300观察器,Elimco)、一架单波段热像仪和一台高光谱成像仪(Headwall Micro-Hyperspec传感器,400-1000 nm)组成。利用多传感器数据估算了叶黄素、叶绿素、a、b+和荧光指数等指标,对商业果园植被水分胁迫进行了敏感性分析[4]。
高光谱图像分类图
由于存储的限制,这次HRS任务只使用了光谱范围的一部分,即400-885 nm,数据是在海拔575m处以40 cm的空间分辨率收集的。此外,基于相同的无人机平台和较小的多光谱无人机平台[5],还在农林领域开展了其他研究,如葡萄园叶片类胡萝卜素含量的空间分布分析[7],橄榄树黄萎病的早期检测[7],以及叶绿素荧光和生理结构指标的时空分析[4]。此外,Aasen et al.[5]使用无人机搭载的快照系统(Cubert UHD185快照传感器,450-950 nm)估计用于植被监测的植物参数,如LAI、叶绿素、株高和生物量。本研究最大的创新点是株高估算。由于快照传感器在执行任务期间记录了2-D图像序列,因此可以使用Agisoft Photoscan[7]这一用于数字图像摄影测量处理的商业软件来估计3-D结构(植物高度)。农业中另一个主要的高光谱应用是作物的精确分类[8]。由于不同植被类型或同一植被类型在不同生长期存在光谱和纹理差异,利用无人机搭载的高光谱图像对作物进行更精确的分类是可能的。赵等人[6]使用WHU-Hanchuan无人机数据集对作物进行精确分类;数据由安装在Aibot X6无人机上的顶壁纳米超规范传感器(400-1,000 nm)收集。飞行高度为250m,数据的空间分辨率为0.1m。在数据采集过程中,采集了农作物的地表光谱和无人机搭载的RGB数据进行分类标识。观测区域(OA)包括大豆、高粱、西瓜、豇豆、草莓和空心菜等16个类别,采用博弈论光谱-空间分类算法(GTA)获得了86.61%的最佳分类精度。
结语
基于本文的讨论,无人机载HRS系统的发展趋势可以概括为以下几个方面。1)多传感器集成系统:高光谱传感器与微型激光雷达、RGB或热传感器的结合在不同的应用领域显示出巨大的潜力。激光雷达和RGB数据可用于创建精确的DSM,用于几何校正和后续分析;热数据在与温度相关的应用中非常有用。2)新的高光谱传感器:在高光谱成像器方面,以视频帧率捕获高光谱立方体的快照成像器仍有很大的发展空间,成像几何结构更加坚固。因为快照成像器在一次曝光中记录2-D空间信息,所以收集的数据可以用来创建用于地形校正的DSM。3)混合无人机平台:混合无人机是固定翼无人机的特例,增加了旋转翼,允许垂直起降。由于混合无人机兼有旋翼无人机和固定翼无人机的所有优点,如垂直起降、更长的耐力和更大的有效载荷,它们将成为无人机市场上潜在的有力竞争者。4)多尺度分析:无人机载HRS作为一种低空遥感技术,弥补了机载和陆基HRS的观测比例尺差距,但无人机的耐力有限,不适合大比例尺测绘。因此,将无人机载HRS与卫星图像和地面数据相结合是大范围监测的应用趋势。一般来说,对于面积较小的研究目标,无人机载HRS以其低成本、灵活性、高空间分辨率和高光谱分辨率提供了无与伦比的遥感解决方案。我们相信,随着无人机平台和微型传感器的发展,未来无人机载HRS系统将得到更广泛、更频繁的应用。
参考文献:
[1]金伟,葛宏立,杜华强,等. 无人机遥感发展与应用概况. 遥感信息,2009(1):88-92.
[2]祝锦霞,陈祝炉,石媛媛,等. 基于无人机和地面数字影像的水稻氮素营养诊断研究. 浙江大学学报(农业与生命科学版),2010,36(1):78-83.
[3]杜雅刚,武洪峰. 基于微小型无人机平台的农作物养分信息遥感解析关键技术研究. 现代化农业,2014(4):60-62.
[4]陈晨. 基于多旋翼无人机的大豆育种遥感监测应用研究. 科学技术创新,2016(5):140-141.
[5]褚洪亮,肖青,柏军华,等. 基于无人机遥感的叶面积指数反演. 遥感技术与应用,2017,32(1):140-148.
[6] 阚晓云,孙景振,王红伟. 无人机影像分割尺度及地物分类研究.科技广场,2013( 11) : 12-16.
[7] 张明媚,姚国红. 面向对象的高分辨率遥感影像信息提取技术. 地理空间信息,2013,11( 1) : 89-91.
[8]张正健,李爱农,边金虎,等. 基于无人机的山地遥感观测平台及可靠性分析——以若尔盖试验为例. 遥感技术与应用,2016,31(3):417-429.
[9]陈丽萍,孙玉军. 基于不同决策树的面向对象林区遥感影像分类比较.应用生态学报,2018,29( 12) :3995-4003.
[10]胡健波,张健. 无人机遥感在生态学中的应用进展. 生态学报,2018,38(1) : 20-30.
[11]李勇志,支晓栋,唐海龙,等. 无人机遥感技术在农业中的发展与应用. 安徽农业科学,2015,43(25):350-351.
[12]刘建刚,赵春江,杨贵军,等. 无人机遥感解析田间作物表型信息研究进展. 农业工程学报,2016,32(24):98-106.
[13]赵必权,丁幼春,蔡晓斌,等. 基于低空无人机遥感技术的油菜机械直播苗期株数识别. 农业工程学报,2017,33(19):115-123.
[14]李剑剑,朱小华,马灵玲,等. 基于无人机高光谱数据的多类型混合作物LAI反演及尺度效应分析. 遥感技术与应用,2017,32(3):427-434.
[15]顾婷,高晓雯,孙成明,等. 基于无人机图像的水稻拔节期叶面积指数估算. 农业网络信息,2015(12):63-65.
[16]李红军,李佳珍,雷玉平,等. 无人机搭载数码相机航拍进行小麦、玉米氮素营养诊断研究. 中国生态农业学报,2017,25(12):1832-1841.
[17]陆国政,李长春,杨贵军,等. 基于无人机搭载数码相机的小麦
育种表型信息解析. 中国种业,2016(8):60-63.
[18]董锦绘,杨小冬,高林,等. 基于无人机遥感影像的冬小麦倒伏面积信息提取. 黑龙江农业科学,2016(10):147-152.1-19.
[19]吴剑,陈鹏,傅世锋,等. 基于无人机多源遥感数据海岛植被叶面积指数协同反演研究. 海洋技术学报,2019,38(6):1-8.