（LSWD数据集编码方法拓展应用）：一维数据编码二维彩色图像的进一步研究，以自己发表的Nature子刊SR为例
在我去年的博客中，介绍了线结构光焊缝数据集（LSWD），该数据集首先通过激光传感器和三角测量原理制作一维高精度焊缝数据，再通过GASF/GADF、MTF三种一维数据编码二维彩色时间序列图像的方法编码而成。而这种方法不仅仅在焊接领域具有很好的优势，可以实现将一维焊缝数据缺陷在二维尺度上进行拓展，在所有一维数据分类识别上都同样具有一定的优势。
这里说一下自己对于一维数据编码二维彩色图像的进一步研究，可以参考自己已发表的论文：https://www.nature.com/articles/s41598-023-31319-y
摘要：小型船舶的管理一直是海事管理的重点。本文提出了一种基于激光传感器识别小型渔船的新方法。以四类小型渔船为目标，提出一种基于马尔可夫过渡场（MTF）时序图像和VGG-16迁移学习的小型渔船识别方法。与传统方法不同，本研究使用多项式拟合来获取渔船的轮廓，并使用MTF编码方法将一维船舶轮廓转换为二维时间序列图像。识别过程采用VGG-16模型，并应用迁移学习来改进结果。UCR时间序列公共数据集用作MTF时间序列图像编码的迁移学习数据集。
1.introduction
船舶目标的自动检测可以提高通过人力对江海船舶的监控，可以减少工作量和管理成本。利用船舶识别系统，可以有效地发现非法船舶，并通过船舶的类型和标识来识别违法行为。在渔船和商船管理领域，船舶目标检测有助于提高海域管理水平，保护海洋资源。此外，在军事领域，船舶目标检测可以帮助防御敌人，或者可以用来在战斗中获得优势。小型船舶一般排水量在50吨以下，是全世界近海和内河的主要渔船。随着航运和渔业的快速发展，航道和渔场管理面临重大挑战。小型渔船的管理和监控迫切需要信息化和自动化。迄今为止，船舶目标检测系统的主要技术是基于雷达扫描、自动识别系统（AIS）或光学成像，每种技术都存在一些缺陷。
雷达系统可以通过发送电磁波主动探测船只；具有全天候、全天时的检测能力。然而，小型船舶的反射截面较小，船高较低，因此常规雷达通常无法探测到小型船舶。AIS 是一种使用船上收发器的自动跟踪系统。它提供船舶的身份、位置、航向和速度等信息。该系统要求船舶共享信息。这不适用于非合作目标。光学成像系统主要包括可见光CCTV和红外系统。由于水中的反光或频繁的雨雾场景，采集到的图像经常出现干扰。因此，本研究提出了一种基于红外激光传感器对不同船舶的船体轮廓结构进行分类和识别的方法。这提供了一种基于不同数据模型的有效方法，有助于提高整个船舶检测系统的鲁棒性。本研究尝试使用深度学习模型来识别基于激光传感器的船舶。如图 1，不同的船舶总是有不同的尺寸、形状和材料。所有这些都导致序列的激光点具有不同的形状和分布。对轮廓数据进行编码的方法可以进一步扩展这些轮廓数据的特征维度，更有利于深度学习网络模型对特征的全面捕捉，提高小型渔船的识别性能。因此，本研究提出一种基于马尔可夫过渡场（MTF）时序图和VGG-16迁移学习的小型渔船识别方法。
在这项研究中，论文提出了一种基于激光传感器一维信号识别小血管的新有效方法。这是多模型数据应用在小型船舶识别领域的另一种方法。同时考虑到样本数据较小，我们利用基于UCR时间序列公共数据集的迁移学习来训练模型。将一维激光信号转换为MTF图像，以扩展信号的尺度和维度。那么不同类型的船只将更容易区分。因此，本文的另一个贡献是基于 VGG-16 提出了一个修改块来改进 MTF 图像的分类。
2.method
利用SICK激光轮廓传感器对不同小型渔船的轮廓数据进行采样，然后根据马尔可夫偏移场将轮廓数据编码成时间序列图像。将输出图像输入VGG神经网络模型进行预训练。最后，应用预训练参数迁移学习来增强神经网络模型的识别效果。这项研究分三个步骤进行。利用SICK激光轮廓扫描设备获取不同渔船的轮廓数据。将轮廓数据作为一维时间序列，编码为二维时间序列图像。通过VGG-16神经网络模型迁移学习实现小型渔船的分类识别，并通过实验验证了该方法的先进性。本研究的流程图如图 2所示。
轮廓数据拟合
由于渔船等高线数据为0°~360°盘旋数据，因此将0°~360°渔船等高线数据按照盘旋方向拼接成一维等高线数据，保留不同捕捞的数据特征最大程度地容纳船只。等值线数据作为马尔可夫偏移场的一维时间序列输入。使用激光传感设备采样的渔船轮廓数据模式如图 3所示（以PE塑料渔船为例）。
由于原始船舶轮廓数据分散，存在大量无效信息；因此，有必要对数据进行拟合和清理。在拟合之前，为了保证拟合结果的准确性，要消除远离轮廓的单个散点。利用多项式曲线拟合算法对清洗后的血管轮廓数据进行拟合，具体拟合过程将在下面详细描述。
采用多项式曲线拟合方法对散点数据进行逼近曲线的拟合。对于一组数据，拟合多项式为 :
误差平方和表示为：
为了得到合格值，需要对方程求偏导数，并利用Vandermond矩阵化简得到矩阵(3)：
式( 3 )可简写为Eq. ( 4 ): 其中对应于式 (4) 中的三个矩阵。( 3 ) 系数矩阵即为所需的拟合曲线结果。利用拟合算法对原始轮廓数据进行拟合后，得到全部拟合结果，如图 4所示。
轮廓数据拼接
对渔船轮廓的所有数据进行拟合后，必须将拟合结果拼接以生成以下方法所需的一维时间序列。拟合结果按照实际渔船轮廓的顺序进行拼接。在拼接过程中，以拟合结果函数方程的交点作为连接点，将各部分的拟合结果拼接成连续拟合的最终结果。具体连接效果如图5所示 。
最终拟合结果拼接后，可以对交点附近的数据进行清洗，使得X轴上的每个值与Y轴上的值都有唯一的对应关系。这样，最终的拟合结果就可以近似地看成是一个特殊的一维信号；也就是说，拟合结果可以视为一维时间序列数据，输入到下面的方法中。
轮廓数据拼接
在系统某些因素的转变过程中，第n个结果仅受第n-1个结果的影响；即只与前一时刻的状态有关，与过去的状态无关。马尔可夫分析中引入了状态转移的概念。马尔可夫状态转移是指客观对象从一种状态到另一种状态的转移。马尔可夫传递矩阵对序列的时间依赖性不敏感；因此，基于一阶马尔可夫链并考虑时间位置关系引入MTF 。具体连接效果如图 5所示。
在MTF方法中，指的是转移概率。考虑到时间位置，将包含转移概率的矩阵扩展到维度轴上的MTF矩阵。MTF 矩阵中的主对角线是，它捕获从每个分位数到自身的自转移概率（自转移概率）。为了提高计算效率，使用模糊检查对每个不重叠块中的像素进行平均。将渔船的一维时间序列数据编码为MTF矩阵图像，如图所示。
VGG-16神经网络模型
近年来，CNN 已广泛应用于计算机视觉识别任务。与传统方法相比，神经网络已经取得了最先进的结果，图像分类是视觉识别中的一项重要任务。然而，浅层神经网络模型在大规模图像识别任务中表现出一定的局限性。
提出VGG-16神经网络模型是为了进一步探索更深层次网络模型的性能。VGG-16神经网络采用极小（3×3）卷积滤波器的架构，并且网络结构的深度增加。通过将深度增加到 16 至 19 个权重层,网络性能得到显着提高。
该网络使用 13 个卷积层和 3 个全连接层。VGG-16网络架构中卷积层的核心尺寸为3×3，步长为1。池化层均为2×2，步长为2。网络的输入尺寸为224×224像素。每次池化后，特征图的大小都会减少一半。在最后一张网络特征图中，全连接层之前的架构是7×7×512个通道。该层扩展到 25,088 个通道。网络的最后一层是softmax层的认证概率。VGG-16网络中的所有图像大小相同；因此，该网络也是应用迁移学习算法最有效的方法之一。
神经网络的迁移学习
从头开始训练 CNN 是非常不寻常的，因为神经网络的训练通常需要大量的训练样本和强大的 GPU 来进行深度学习。在基于迁移学习的方法中，针对类似问题训练最优的预训练模型权重，以用于新的图像识别任务。在迁移学习中，任何预训练的卷积网络都可以使用数百万张图像作为固定特征提取器。因此，可以针对特定的数据集和问题进行微调，并且可以提前训练网络权重以达到最佳的网络训练效果。迁移学习方法中图像类型与数据集大小的相关性对比分析如表1所示。
3.experiment
实验环境
实验设置
由于深度学习中VGG-16神经网络的训练过程中需要计算机GPU，因此采用了搭载Intel i9处理器和RTX 3090显卡的Alienware R12一体机作为神经网络的运行硬件环境。我们的实验中的网络。
Python是一种高级编程语言，因其简单、开源、可移植、面向对象和丰富的第三方库而被深度学习研究人员频繁使用。本研究的实验软件环境也是使用基于Python语言的PyCharm开发工具搭建的，Python环境使用TensorFlow GPU 2.2和Keras 2.2.4框架。
实验数据集
数据集是模型训练和验证过程的重要组成部分。我们使用SICK LMS511制造的LMS系列红外激光扫描仪设备对当地小型渔船的数据集进行采样。我们专注于四种不同类型的小型渔船：小型合金渔船、木制渔船、橡胶充气渔船和PE塑料渔船。经过授权，我们使用红外激光传感器采用360度环绕采样的方式对这些小型渔船的轮廓进行采样。
由于时间要求和疫情政策的原因，经过大约半年的采集采样，最终采集到了3268条不同的等高线数据。小型合金渔船的数据样本在所有数据集中占比最高，有1063个样本数据。小型木制渔船构成了918个样本数据。此外，PE塑料小型渔船的样本数据有726个。最后，小型充气橡胶渔船的样本数据最少，为 561 个。
我们使用相同的拟合方法对所有轮廓数据的拟合结果进行拼接，以创建一维时间序列数据以用于后续的图像编码。采用一致的二维时间序列图像编码方法（MTF）对所有一维时间序列进行编码，生成可靠的时间序列图像数据集样本。生成了四种不同类型的MTF时间序列图像，如图 8所示。
为了改善结果，我们使用数据增强（包括翻转、缩放和噪声添加）扩大了四种小型血管的数据集。船舶图像水平翻转。在缩放过程中，缩放因子为0.75和1.5。过度拟合通常发生在神经网络学习高频特征时，这可能对网络的任务没有帮助，并且可能会影响低频特征。为了消除高频特征，数据图像扩展完成后，将高斯噪声和椒盐噪声数据随机添加到图像样本中，以抵消高频图像特征的影响。
4.experiment process
VGG-16模型的微调
VGG-16最初的设计目的是在实验训练过程中从1000个ImageNet数据集中提取图像细节特征。然而，通过这种方式训练的神经网络模型学习到的高阶特征与本研究中血管MTF二维时序图像的类别没有直接关系，这会导致训练效果较差。因此，重新训练了几个卷积块，并对VGG-16神经网络的权重进行了微调，以达到更好的识别和分类结果。为了改善网络模型的结果，我们对原始VGG-16神经网络进行了如下修改：
- A）参数设置：我们在预训练时使用Adam优化器来优化学习率参数。根据多次实验的经验，batch size设置为32。神经网络模型训练迭代次数设置为200，并添加batch Normalization和dropout层。
- B)卷积再训练：首先，冻结VGG-16神经网络模型的前3个卷积块，保留第4和第5个卷积块，这样这两个卷积块在VGG-16神经网络模型中的权重使用小型船只的数据集。这使得神经网络模型更适合高效的血管分类和识别任务。
- C）附加卷积：在冻结 VGG-16 的前三个卷积块的同时，我们在第 5 个卷积块之后、全连接层之前添加了一个由三个卷积层和最大池化层组成的新模块。添加新模块的目的是将批量归一化和dropout结合起来，以避免神经网络模型的过度拟合，从而可以学习更多的血管特征。
图 9给出了VGG-16模型结构整体微调的示意图。VGG-16模型分为五个卷积模块。在微调过程中，由于VGG-16通常在前三个卷积模块中获得共同特征，而更多的区分特征位于靠近全连接层的位置，因此我们冻结了VGG-16的前三个卷积模块来训练权重神经网络，导致训练期间最后一个模块中使用更多资源。因此，可以大大提高网络模型的训练时间和资源利用效率。为了使网络模型更有效地适应小型船舶识别任务，我们重新训练了卷积模块4和5。同时，我们修改了卷积模块5以提高模型效率。 增加的批量归一化层可以加快训练速度并提高学习率，即使学习率较低，也可以实现快速学习。由于我们的数据集不够大，神经网络训练很容易出现过度拟合。新增dropout层，防止过拟合，提供更加稳定可靠的网络模型训练结果。
迁移学习
UCR 时间序列档案于 2002 年推出，已成为时间序列数据挖掘社区的重要资源，至少有 1,000 篇发表的论文使用了该档案中的至少一个数据集。我们使用完整的 UCR 数据集进行 MTF 编码过程，并使用编码的 MTF 时间序列图像作为迁移学习的数据集。由于UCR数据集是标准的时间序列档案，因此使用MTF时间序列图像编码非常合适。使用相同参数对完整数据集进行编码将产生更好的结果，从而在迁移学习过程中发挥重要作用。
VGG-16神经网络模型的微调为后续的学习过程留下了完整的预训练参数。在迁移学习过程中，首先对MTF方法生成的各类小血管的二维时间序列图像全部进行随机干扰；此后，将数据集中的14400张图像中的7500张图像用作训练集，2500张图像用作测试集，并选择2500张图像作为验证集。
经过训练过程中的多轮训练和学习，我们获得了更适合小血管数据集分类和识别的参数，例如迭代次数和批量大小参数，并确定了更好的Adam优化器来防止网络过拟合。在初始学习率为0.001、batch为32、动量为0.95、迭代次数为200次的网络参数下，小型渔船识别分类的平均最高准确率为98.92%。在下一节中，将介绍所提出的方法与传统神经网络模型之间的比较。
表4和表 5总结表明，所提出模型的分类性能指数均高于其他模型。从表4可以看出，虽然我们的方法在Mo模型推理时间上不是最快的，但它在保持高精度性能的同时具有良好的推理时间性价比。与原始VGG-16模型相比，虽然我们的方法在迁移训练过程中花费了更多时间，但显着提高了模型的性能，显着提升效果为6.8%。此外，该方法的时间少于ResNet-50和VGG-16网络，但该方法的准确率仍然高于该方法。
从表5，提出模型的精度指标最高（99.16%），1D-CNN模型的十倍CV指标最低（83.83%）。与结构简单的 1D-CNN 模型相比，随着神经网络模型复杂度的增加，AlexNet 神经网络模型的准确率指标提高了 13.99%，十倍 CV 指标提高了 14.61%。迁移学习模型方法。此外，与原始基于非迁移学习的VGG-16神经网络模型相比，使用所提出的迁移学习技术的模型也表现出了显着的性能提升，准确率指标提升了6.8%，十倍提升了6.61%简历指数。ResNet-50 神经网络在指标上表现出多种优势，并且最接近所提出方法的性能。
结论
本研究以四种不同类型的小型渔船为研究对象，提出一种基于MTF时序图像和VGG-16迁移学习的小型渔船识别方法来解决小型渔船分类问题。与传统做法相比，提出了一种基于红外激光传感器的小型渔船轮廓散射数据拟合的新处理方法。将拟合函数方程逐渐拼接成一维时间序列数据并编码成二维时间序列图像。最后采用VGG-16神经网络模型进行迁移学习，并在实验过程中对神经网络分类识别模型进行微调和改进。
最终的实验结果证明了该方法相对于 1D-CNN 和传统神经网络模型的有效性。使用有限的数据集对四种类型的船只进行了评估和分析。实验表明，该方法对于四种类型的船舶数据集的平均准确率最高，达到98.92%。
该项目已在Github上公开：链接
可闲鱼平台科研交流联系，APP关键字LSWD焊缝数据集、yolov5钢板表面缺陷检测、计算机领域审稿意见指导等搜索，冒出者较多，请认准闲鱼店铺用户名：smile4090。
闲鱼链接：https://m.tb.cn/h.T0FAZD0?tk=RukX3rF4pLF
