[论文总结] 深度学习技术在植物领域的研究1

文章目录

1. Detection and Counting of Marigold Flower Using Image Processing Technique （书籍，2019）

通过图像处理和圆拟合算法来识别每亩地中万寿菊的数目。通过 HSV color transform and circular来识别万寿菊，以及通过霍夫变换Hough transform (CHT) methodologies 来计算万寿菊的数量。技术路线如下：在这里插入图片描述

2. A Review on Agricultural Advancement Based on Computer Vision and Machine Learning （书籍，2020）

2.1 朴素贝叶斯分类器
2.2 K-均值聚类
2.3 支持向量机（SVM）
2.4人 工神经网络（ANN）
2.5 决策树（DT）
2.6 线性判别分析（LDA）
2.7 深度学习
这些技术的广泛应用于作物病虫害的检测、叶片的疾病。
总结最后一句：This paper will give a vivid idea to the new researchers to understand the processes of machine learning and image processing associated with agriculture and motivate them to find out the relevant problems in this area.

3. *Systematic review of deep learning techniques in plant disease detection （IF=0.68， SCI未收录,2019）

该论文回答了：

  1. 获取植物数据的主要来源是什么?采用了哪些自动识别系统？
  2. 如何对植物图像进行分类?
  3. 深度学习模型如何才能提高呢？自动识别系统的表现?
  4. 有哪些不同的特征提取技术？从深度学习算法中选择?
  5. 用于改进的分析技术是什么图像质量?
  6. 深度学习技术如何减少过拟合和改善非线性?
  7. 我们如何优化两者之间的损失函数训练和测试数据集?

该论文总结了自己检索论文观察到规律、观点以及论文研究趋势。

论文最后一句总结：这项调查的目的将促使研究人员实施深度学习技术，以进行与图像分析有关的植物病害识别和分类。
该论文写作的方式值得参考。

4. *A review of computer vision technologies for plant phenotyping（IF=3.858，2020）

摘要In this review, we categorize the plant
phenotyping into two main groups: plant organ phenotyping and whole-plant phenotyping. Furthermore, for each group, we analyze each research of these groups and discuss the limitations of the current approaches and future research directions.
本文将植物表型分为两大类：植物器官表型和全植物表型。此外，针对每一个群体，我们分析了这些群体的每一项研究，并讨论了现有研究方法的局限性和未来的研究方向。

论文的研究路线图

4.1. 介绍

目前的研究现状、存在的问题以及论文内容将从哪些方面进行分析。

4.2 植物器官的表型

植物器官在表型分析中的重要性是不言而喻的。通常，根据测量内容和研究目的，植物器官表型大致可分为结构，生理和时间三个类别。然后介绍结构表型是指器官的形态学特征，包括形状，面积，角度等方面；生理表型是什么，包括哪些方面，时间表型是什么，包括哪些方面如植物的不同器官在空间和时间上不一致地生长，并且这种生长的不均匀性也受到基因型的调节。通过分析图像序列，可以计算时间表型，包括伸长率，角轨迹等。从地面和地下的植物表型将在2.1和2.2节中从结构表型和时间表型的角度介绍。第2.1节包括形态和计数，而第2.2节包括成像和分割。另外，植物的生理表型是多个器官之间相互作用的外部表现。因此，此内容将在第3.2节中详细介绍。

这段话高度概括了文章的写作结构，以及这样设计结构的原因。

4.2.1 植物地上器官表型

1. 形态与生长
植物器官的形态变化在植被的生长和发展中起着至关重要的作用。例如，叶面积和叶形状（例如叶长度，叶宽度，叶倾角等）与植物的各种生物和物理过程密切相关，例如光合作用，呼吸作用，蒸腾作用以及碳和养分吸收。茎宽与农作物产量直接相关，而秸秆倾角有助于确定植物倒伏和测量作物倒伏率。不同物种的花朵和果实的形状，大小和颜色等特征也各不相同，因此对其多样性进行定量研究对于全基因组关联研究至关重要。观察器官可以揭示它们的生长状态，并最终帮助我们识别遗传贡献，提供选择基础和参考标准以改善植物遗传特性并提高作物产量。因此，估计植物器官的形态结构和生理参数对植被生长监测具有重要意义。在高通量表型分析，植物的自动分割器官是测量更复杂的表型性状的前提。尽管具有外观和形状特征，但咬合器官以及器官形状和大小的变化以及成像条件，使图像分割具有挑战性。 因此，很多研究人员致力于解决这个问题，例如通过某某方式来达到某某目的，还有一些研究提出了什么问题，另一个研究能解决这个问题但是存在什么样的缺点。然后作者自己总结出这些方法的优点和缺点，以及应用范围（局限性）。

植物的生长受到众多代谢反应，生理过程和环境因素的调节。植物器官生长的动态波动反映了内源性过程对环境条件的调节，这对于我们了解生物量和产量形成过程可能非常重要（先指出植物生长变化很重要）。光流法可以有效地跟踪细微变化并分析器官内的生长方式或应变率。基于光流的生长估计已广泛应用于研究叶片、根、茎等器官。基于光流的增长估计对亮度波动很敏感，必须满足亮度变化约束方程(BCCE)，要求结构模式运动的振幅连续或较小。这不仅意味着必须保持恒定的亮度，而且不可避免地增加了图像序列的大小和数据量。（然后提出光流法（方法A）能够实现目的，但是具有什么样的缺点）模板匹配是一种经典的目标跟踪方法，具有简单、准确、快速、噪声不敏感、不需要满足BCCE要求等优点。建立了一种基于模板匹配的叶片生长动态监测方法在各种光照条件下，显示出典型的diel特征叶片生长模式，没有进一步考虑基尖梯度或叶片叶片内部的其他空间生长差异。（然后指出模块匹配法的优缺点（方法B））但是，上述方法不能适应光照和目标形状的剧烈变化，特别是对于多年生作物和大田作物。例如,多年生作物(如黑麦草、苹果、葡萄、蓝莓、甜椒,等等)是削减或反复在整个赛季,需要从现有的分蘖和恢复增长新的形式,这需要评估与生长有关的参数在整个生长季节甚至在几个季节（但是方法A\B都具有什么缺点）。对于大田作物，研究人员无法保证成像质量，因为室外光照条件在白天和季节都是不同的。为了解决这些问题（缺点），人们使用深度学习(如卷积长短期记忆(LSTM))来跟踪植物的生长和形态变化（提出了新的方法C）。该方法能够自动适应外部环境的变化，从而提高跟踪的准确性和鲁棒性。利用卷积神经网络(CNNs)提取植物图像的特征，而LSTMs可以记住植物的状态并获得时间关系。通过这种方式，植物生长模式可被编解码结构编码，以有效地模拟植物生长的表现（方法C的优点）。然而，深度学习需要大量的标记图像序列，并且缺乏可视化工具来增强可解释性（方法C的缺点）。总的来说，当时间间隔变大，或植物和背景复杂度越高时，还没有成熟有效的植物生长方法被发表（最后总结目前所有方法的缺点，也就是文章摘要提到的本文的目的是总结现有方法的局限性）。
2. 计数
通过细分和跟踪分析，计算机可以自动正确计算器官面积，测量长度和宽度，可视化叶脉特征，估计倾角和方位角，动态监测生长和运动，等等。除了上述量化器官特征的任务外，近年来自动计数已经成为人们关注的焦点。从表型的角度来看，
植物器官，尤其是叶子和果实的数量是直接关系到发育阶段，生长调节，开花时间和产量潜力（介绍了技术在植物不同器官的应用）。但是，自动计数是具有挑战性的任务，因为器官的形状和大小将发生变化随着时间的流逝，器官的位置会旋转和移动，并且器官可能重叠，导致严重的咬合（计数目前存在什么问题）。由于植物的快速生长和复杂性，自动计数
引起了越来越多的关注。叶子计数挑战（LCC）具有吸引了大量的研究人员，并提出了许多先进的以及有效的方法。近年来，为了吸引大量叶计数领域的学者数量，并鼓励研究人员
提出各种解决方案叶片分割（LSC）和LCC提供了不同品种下拟南芥和烟草的数据集，同时开发了许多方法。近年来，植物器官计数的方法主要是归纳为两类，即基于图像检测或分割方法和基于回归的方法（提出利用自动计数的方法类别）。然后分为两个小节详细介绍了图像检测或分割的方法和直接回归方法。比较了他们之间的优缺点和应用。

4.2.2 植物地下器官表型:根系结构

1. 根的图像
根是植物的营养器官，通常位于植物的下方地球表面。它们负责支持植物，水和养分的吸收，与容器合作将水和养分运到植物中（Ozel和Freire，2016年），并通过渗透大量的低分子量和高分子量来改变根际的物理和化学性质。代谢物进入土壤（Delory et al。，2016）。此外，根际中还有许多微生物与根系相互作用，它们可以刺激微生物的生长和活性，从而影响土壤有机质分解的调控，有助于土壤团聚体的稳定性，防止土壤侵蚀和侵蚀。对植物产生积极影响健康（提到了和土壤非常相关）。

植物根结构架构的量化和可视化（RSA）可以帮助我们了解植物的生长动态和产量特征，定位QTL（Topp等，2013），选择优良性状，以及改良作物品种（Cichy等，2009）。但是，RSA难以量化，因为它们不仅形态复杂，而且在不透明和复杂的土壤介质中自然生长。一旦根生长环境被破坏，根分析的结果将不可避免地受到影响。除RSA外，根际根表面附近还发生大量的生物，物理和化学过程，影响了水，养分和气体的运输和利用（Ahmed等人，2016; Naveed等人， 2017）。土壤密度，基质势和从根部释放的与其他物质相互作用的表面活性剂将决定根际的机械性能并影响根部伸长和分支的速率。定量确定根与土壤成分之间的接触量，以更好地定义根与土壤结构之间的相互作用以及许多养分的非均质分布，仍然是一项重要的挑战（Goh等人，2016）。通常，根据生长条件的不同，筛选大量植物根系性状的有效技术主要分为在非土壤介质中的光学记录和在土壤介质中的非侵入性测量，两者在研究根系方面各有利弊特质。
(1)土壤介质测量 (2)非土壤介质测量
2. 根的表型
略

4.3 全植物表型出现

植物是一种复杂的生物，有多个器官在活动合作，这样就可以把植物作为一个整体来分析。单独分析植物的器官会破坏植物的内部关系，不可能对植物的表型有全面客观的认识（介绍为什么要分析整株植物表型）。一般来说，单从一张图片或一个角度来分析整个植物的表型是不够的。大多数方法的目标是获得尽可能完整的三维几何图形，这需要对整个植物的空中部分进行几何建模。此外，表型的结构和生理组成相关特性会在多个层次上相互影响。植物生理特性的变化会引起植物结构特征方面变化。同时，植物的结构也发生变化的性状能较好地反映植物体的生理状态，促进植物胁迫的研究（引出了第二个讨论的观点）。下面主要从三维表型和植物胁迫两个方面讨论全植物表型。第3.1节主要介绍了植物三维表型的研究以及几种用于植物表型测量的三维成像技术。提出了一种基于点云数据的处理管道。最后，对三维图像分割算法进行了讨论。第3.2节总结了植物胁迫的基本类型和常用的成像技术，分别从RGB和高光谱图像两个方向介绍了它们各自的发展过程，然后讨论了几种常见的图像分析算法和应用（对接下来的研究进行了总的概括）。

例3.1讨论部分：事实证明，深度学习是构建3D模型的强大工具图像处理，例如3D-R2N2（Choy等，2016）PointNet（Qi等（2017年），PV-RCNN（Shi等人，2019年）等。将3D深度学习应用于植物表型的早期阶段，很少研究直接利用CNN重建或分割3D图像，其主要原因如下：1）缺少带注释的训练数据。植物的3D图像比城市，道路，房间等更为复杂，因此图像标注昂贵且困难。 2）缺乏可用的学习材料。当前，有很多关于3D深度学习的口头演示，但是系统的解释和代码演示却很少，这对刚刚学习基础知识或非计算专业的研究人员来说是不友好的。 3）缺乏可靠的软件或工具。由于植物的3D图像很大，因此我们需要更有效的数据压缩和模型优化算法，以减少网络训练和推理时间。总而言之，3D植物表型是一个有前途和挑战性的发展方向，这需要研究人员的共同努力。

4.4 挑战和观点

从数据的采集、数据的利用、数据分析3个方面展开了总结和讨论。

4.5 结论

本文对植物表型的研究方法进行了综述以计算机视觉为基础，从植物器官和整个植物两个角度总结了各种成像技术和分析方法的优缺点，并给出了一些典型的算法原则和处理框架（大致介绍了本文的写法思路）。通过这些研究，我们发现基于图像的植物表型分析方法有很大的潜力自动表型测量和量化。在特别是，深度学习简化了表型提取的过程显著提高了植物表型的应用（文章得出了什么结果）。植物表型是一项复杂而困难的任务，它不仅需要硬件系统(成像设备和表型)的支持平台)获取原始数据，也建立了一个多领域，多层次，多尺度的植物表型数据库。此外，发展性状识别技术也是必要的。利用系统与生物信息学技术从海量组学数据中提取信息（还需要借助什么手段和方式）。在这篇综述中，我们只关注于从图像中提取表现型。表型来源和遗传分析这仍然是一项非常艰巨的任务。我们必须共同努力来解决这些问题并进一步推动这一进程。此外，我们将合作以不同的学科整合不同领域的专业知识提供具有生物学或农艺意义的技术上可靠的解决方案（指出了未来研究方向）。

这篇综述全文都是用总分的结构来介绍和讨论。会在每一个章节介绍这一章节的主要内容的重要性，它们与什么相关，分为那几个小节来讨论，以及意义。非常有层次，逻辑也非常清楚，值得借鉴

5. Plant Species Recognition Methods using Leaf Image: Overview（IF=4.438, 2019）

5.1 纹理特征提取

纹理特征提取方法包括Gabor和小波变换（GWT），遗传程序设计，Curvelet变换（CT），灰度共生矩阵（GLCM），局部二进制模式（LBP） ，多尺度重叠块LBP，完整LBP（CLBP），定向梯度直方图（HOG），金字塔（PHOG）。

5.2 在植物物种识别中的应用

可以采用几种常见的分类器对植物种类进行分类，例如贝叶斯，决策树，K近邻（K-NN），支持向量（SVM），神经网络。（NNs），约束NNs，前馈NNs ，径向基函数NNs ，概率NNs（PNN），径向基概率NNs，以及一些改进的神经网络模型，极限学习机（ELM）和随机森林。

5.3 经典线性子空间算法

一些传统典型的线性算法通常用于图像分类。主成分分析（PCA），独立成分分析（ICA），线性判别分析（LDA），最大余量准则（MMC）和CCA 是四个最简单的有效子空间学习线性降维的算法。

5.4 经典非线性子空间算法

拉普拉斯特征图（LE），局部线性嵌入（LLE），局部性保留投影（LPP），无监督判别投影（UDP）和邻域保留嵌入（NPE）是五种经典的子空间学习方法。

  1. 近年来，通过将Fisher准则与流形准则相结合，提出了许多监督子空间学习方法，例如LDA，MMC，NPE，监督LPP（SLPP），监督核LPP（SKLPP），判别LPP。
    （DLPP），正交DLPP（ODLPP），判别投影嵌入（DPE），正交判别保存（ODP）和局部性判别投影（LPDP）等。
  2. 大多数现有的半监督子空间学习算法都依赖于相似度的构造矩阵，然后选择最适合相似矩阵的特征，例如半监督的局部判别式投影（SSLDP），半监督判别投影（SSDP）和半监督正交判别投影（SSODP）。这些方法已应用于植物物种识别。

6. Deep learning for plant genomics and crop improvement (IF=8.356，2019)

介绍了什么是深度学习，说明了机器学习和卷积神经网络在基因预测，基因组编辑等方面具有巨大的应用空间。

7. Data-mining Techniques for Imagebased Plant Phenotypic Traits Identification and Classification（IF=3.99,2020）

利用了网络上的一个表型数据集进行了分析。然后将这个方法与主流方法：线性判别分析（LDA），随机森林（RF），具有线性（SVM -l）和径向基（SVM- r的支持向量机）内核用于分类/预测工厂状态（压力/非压力）来验证。得出新方法精度高，速度快。

8. A Novel Technique Combining Image Processing, Plant Development Properties, and the Hungarian Algorithm, to Improve Leaf Detection in Maize (IEEE会议论文，2020)

研究玉米叶子数量和位置检测，没太大意义。

9. Yield estimation of chilli crop using image processing techniques (IEEE会议论文，2020)

9.1 数据提取

这项工作从植物图像中检测和计数成熟的辣椒果实。所使用的硬件是：具有16 GB RAM的Intel®Core™i7-4770 CPU。软件是：MATLAB R2018a。这些照片是使用Sony 7.1百万像素相机（型号：HDR-PJ50E，Sony，中国）拍摄的。

9.2 色彩空间

9.3 下一步，应用Delta E测量到实验室色彩空间

9.4 形态运算（Morphological Operations）

所提出的方法的框图如图1所示。该框图包含该方法的一般步骤，分为9个步骤。
在这里插入图片描述

10. Applications of Deep Learning for Dense Scenes Analysis in Agriculture: A Review (IF=3.275，2020)

10.1 深度学习的方法

在这里插入图片描述

10.1.1 卷积神经网络（CNN）

1 CNN骨干网络
我们将重点介绍在密集场景中使用最频繁且运作良好的骨干网络。包括分类网络：VGGNet，GoogLeNet，ResNet，检测网络：DetectNet，YOLO和语义分段网络：FCN，SegNet和U-Net。本文回顾的大多数工作都是基于这些网络结构进行组合或微调的，因此更适合分析农业中的密集场景。
2 自编码器
通常，已经提出了自动编码器的不同变型以确保针对机器学习应用的鲁棒的特征表示。这些包括解析自动编码器[ 58 ]，去噪自动编码器[ 59 ]，堆叠式自动编码器[ 60 ]和压缩自动编码器。

10.1.2 结论

  1. VGGNet在密集场景分析中具有广泛的应用。GoogLeNet中多种尺寸的卷积和重组是解决密集场景中比例尺不一致问题的有效方法。DetectNet的训练数据是包含多个对象的大图像，适用于密集对象检测。ResNet的主要优点是可以破坏网络中的信息流，但这意味着可以重用某些功能，并且ResNet架构比其他深度网络更易于优化。YOLO可以正确识别背景，并可用于检测一定程度的遮挡和重叠物体。FCN的结构减少了重复计算，通过在上采样期间填充丢失的详细数据来降低模型的复杂性，并且输入图像可以是任何大小。它用于在拥挤的场景中进行准确的人群计数估计 FCN的结构减少了重复计算，通过在上采样期间填充丢失的详细数据来降低模型的复杂性，并且输入图像可以是任何大小。它用于在拥挤的场景中进行准确的人群计数估计FCN的结构减少了重复计算，通过在上采样期间填充丢失的详细数据来降低模型的复杂性，并且输入图像可以是任何大小。它用于在拥挤的场景中进行准确的人群计数估计。
  2. 作为基于编码器/解码器的语义分割网络，SegNet的分割效果不佳，因此在密集的农业图像中，更多地使用U-Net。U-Net的突出优势在于，它只需很少的训练图像即可获得非常准确的分割结果。但是，它仍然考虑更多高级功能，很少使用低级功能。通常，分析农业密集场景是计算机视觉任务之一，而CNN是主要的深度学习方法。目前，自动编码器很少用于农业现场。

10.3 应用

深度学习网络在不同农业任务中的密集图像中的应用在这里插入图片描述
农业密集场景中的数据集
在这里插入图片描述

10.3.1 识别与分类

  1. 刘等设计了一种在自然环境下工作的摘水果机器人。使用了Yolov3和两个带有骨干网ResNet50和ResNet152的Mark R-CNN。ResNet50和ResNet152分别包含16和50个剩余模块。实验结果表明，Mark R-CNN152模型具有最高的综合识别精度，为85.12％。
  2. Bozek等人使用组合U-Net和递归分量的方法来编码分割对象的附加信息。在工作中，他们减小了U-Net的尺寸，以减少过度拟合的情况。所提出的方法可以有效地识别迭代中的个体。
  3. 提出了一种新的方法，该方法将鲁棒的像素方式与基于CNN的粗细分类器相结合。具体来说，分段网络基于U-Net体系结构的修改版本。分割后的网络由来自不同环境，植物类型，田地和环境条件的数据集进行训练，该数据集用于生成二进制掩码。然后提取二元蒙版中的植被丛并将其发送到基于VGG-16的微调CNN分类器进行作物/杂草分类。所提出的方法在具有挑战性的数据（即杂草和农作物的严重阻塞）上获得了良好的分类结果。杂草和农作物的重叠会影响检测结果。除了传统的水果或农作物分类外，还可以将一些任务转换为用于分析农业密集场景的分类任务，例如质量评估，细粒度分类等。在[85 ]，将稻田质量的评价转换为稻田密度的分类，包括稀疏密度和正常密度。与传统疾病分类不同，类内相似度较大，类间差异较小[ 86 ]。因此，在密集场景中进行细粒度分类更具挑战性。目前，该领域的研究还很少，还不成熟。

10.3.2 侦测

杂草的检测与控制是精准农业的重要应用，也是农业密集场景的重要应用。一些研究对更具挑战性的数据集进行了杂草检测。Yu等报道了三个深层卷积神经网络（DCNN），包括VGGNet，GoogLeNet和DetectNet，用于检测百慕大草（Cynodon dactylon（L.）Pers。]中的杂草。检测结果非常准确，其中DetectNet是最成功的，因为它在杂草密度非常高的多幅图像（每幅图像杂草超过100幅）中表现出高性能，F1得分> 0.99。它们所有的网络都在严酷的阻塞条件下均取得了良好的检测结果，并且无法在少数高密度杂草检测图像中发挥作用。有人提出了一种新的基于Mask R-CNN的蓝莓量化实例分割算法。选择ResNet101，ResNet50和MobilNetV1作为骨干网络，检测精度高。

10.3.3 计数和产量估算

在农业部门密集的场景中，存在两个困难：（1）对象通常以任意大的簇生长。（2）物体经常被树枝，树叶或其他物体遮挡。对象计数的方法通常分为四类：基于分段，基于检测，基于回归以及最后基于密度函数。

10.4 未来工作

  1. 将监督的DL转换为无监督或半监督的DL。目前，在DL领域，带注释数据在监督学习中的使用处于领先地位。但是，随着密集场景的增加，标记所有对象是不现实的。因此，仅使用部分注释数据的半监督和无监督DL方法有很多研究空间。另外，自动标注的研究将越来越受到重视。另一方面，低分辨率是在密集农业场景中应用DL的另一个障碍，因此有必要基于DL模型对低分辨率数据进行新的尝试。

  2. 将CNN特征与人工特征相结合。实际上，这已经在农业密集型场景中应用，但是存在更多的功能组合，可以达到改善网络性能的效果。另外，建议将CNN与其他DL算法（例如RNN，LSTM）结合使用。每种DL方法都有其自己的应用领域。其他DL方法在场景处理中可能不如CNN强大，但是它们可以利用其优势来补充CNN。

posted @ 2020-12-07 21:06  落痕的寒假  阅读(104)  评论(0)  编辑  收藏  举报