基于图注意力单元的改进SiamFC++的单目标追踪系统

发布网友 发布时间：2024-10-24 18:35

我来回答

共1个回答

热心网友 时间：2024-11-01 14:49

随着计算机视觉技术的进步，单目标追踪（SOT）在多个实际应用中得到广泛应用，如智能监控、交通管理和无人驾驶。然而，目标外观变化、遮挡和光照变化等因素给SOT任务带来挑战。基于深度学习的方法在SOT领域取得了显著进展。

SiamFC是一种基于孪生网络的方法，通过编码目标和背景为两个特征图，计算它们之间的相似度实现目标跟踪。但SiamFC在处理复杂场景和目标变化时仍存在局限性，如目标遮挡和光照变化。因此，研究者们提出了许多改进方法，其中图注意力单元（Graph Attention Unit）作为一种有效的注意力机制，能够在图结构数据上学习目标的相关性和重要性，提高SiamFC模型对目标的关注度，从而提高单目标追踪的准确性和鲁棒性。

本研究旨在基于图注意力单元的改进SiamFC++的单目标追踪系统。通过引入图注意力单元，我们设计了一种新的网络结构，将图注意力单元嵌入到SiamFC模型中，提高模型对目标的关注度和区分度。同时，我们还探索了不同的注意力机制和损失函数，以进一步提高模型的性能。本研究的意义主要体现在以下几个方面：提高SiamFC模型在复杂场景和目标变化下的追踪性能；推动深度学习在SOT领域的应用；为实际应用提供更准确、鲁棒的单目标追踪解决方案。

近年来，计算机视觉引起了学界的广泛关注。单目标追踪作为计算机视觉的重要研究方向之一，在研究过程中除了追求准确性之外还要保证实时性，以提高现实适用性。本章针对实时单目标追踪问题，利用双边加权最小二乘模糊支持向量机，提出了基于多特征融合的实时追踪算法FSCFI4]。实验结果表明，与已有的高性能单目标追踪算法相比，所提FSCF算法在形变、快速运动、运动模糊等多个方面均表现出了更优的追踪性能。

图像相似度计算是计算机视觉和图像分析中最基本的任务之一，在诸多视觉任务中发挥着重要作用。双通道网络的核心思想在于将孪生网络的双分支合并在一起。孪生网络和双通道网络的网络架构图如图所示。与孪生网络相比，双通道网络共同处理了两个patch，提供了更大的灵活性。通过实验，Zagoruyko等证明了双通道网络不仅训练速度更快，而且模型精度更高。

Graph_Attention_Union.py是一个名为Graph_Attention_Union的神经网络模型类，它继承自nn.Module和ABC类，并包含了一些卷积层和线性变换层。该模型类的初始化函数接受两个参数：in_channel和out_channel，分别表示输入通道数和输出通道数。模型的前向传播函数forward接受两个输入zf和xf，分别表示搜索区域节点和目标模板节点。整个模型的目的是实现图注意力机制，用于处理图结构数据的特征提取和聚合。

SiamFC_plus.py是一个用于目标跟踪的Siamese网络的实现，它包含了三个主要的模块：特征提取模块、Siamese网络架构和损失函数。特征提取模块是一个简单的卷积神经网络，它包含了三个卷积层，用于从输入图像中提取特征。Siamese网络架构包含了一个特征提取模块和两个头部（Classification head和Regression head）。损失函数定义了Siamese网络的训练损失，包含了两个部分：分类损失和回归损失。

双通道网络和孪生网络最大的区别在于，孪生网络是在最后的全连接层中才将两张图片的相关神经元关联在一起，而双通道网络则是从最初就将输入的两张图片联系在一起。与孪生网络相比，双通道网络共同处理了两个patch，提供了更大的灵活性。本节将双通道网络引入到单目标追踪领域中，提出了一个融合双通道网络和SiamFC的实时单目标追踪算法SiamFC_plus。

网络的前向传播过程是按照从前往后的顺序，从输入层开始经由隐藏层到达输出层，逐层计算出各个网络层的激活值，最后得到网络输出值。网络一共有L=9层，结合表6-1可知其中包括了1个输入层，5个卷积层，2个池化层，1个全连接层。第1层是输入层，输入目标模板图像z和搜索区域图像x，以z为滤波器，在每个颜色通道上对x做互相关操作，其输出为：

完成前向传播过程后，开始进行网络的反向传播。反向传播过程是按照从后往前的顺序，从输出层开始经由隐藏层到达输入层，逐层计算出每个网络层的误差项，进而计算各层网络参数的梯度，最后根据梯度值更新各层网络参数。

以往的跟踪器都通过模板分支和搜索分支之间的互相关实现相似性学习。原算法的作者认为这种方式存在以下缺点：以往跟踪器一般是以目标中点为中心取m*m大小的区域作为模板，这会导致提取到部分背景信息或者丢失部分目标信息。本文只提取目标所在bbox区域作为模板帧。以往跟踪器互相关是将提取到的模板特征在搜索区域上做全局搜索，无法适应旋转、姿态变化、遮挡等情况。

GAM：提出图注意力模块（Graph Attention Module），有效将目标信息从模板特征传递至搜索特征。SiamGAT：在SiamCAR基础上做了改进，设计 target-aware 的选择机制以适应不同目标的大小和长宽比变化。整体网络结构如图，特征提取使用GoogleNet，头部和SiamFC++一样。

下图完整源码＆数据集＆环境部署视频教程＆自定义UI界面。参考博客《基于图注意力单元的改进SiamFC++的单目标追踪系统》。

[1] 杨晓伟, 黄滢婷. 基于多特征融合的实时单目标追踪算法[J]. 华南理工大学学报（自然科学版）.2019,(6).DOI:10.12141/j.issn.1000-565X.180439 .

[2] Tsung-Yi,Lin, Priyal,Goyal, Ross,Girshick,等. Focal loss for dense object detection.[J].IEEE Transactions on Pattern Analysis & Machine Intelligence.2018,(Spec).DOI:10.1109/TPAMI.2018.2858826 .

[3] Mingming Lv, Li Wang, Yuanlong Hou,等.Mean Shift Tracker With Grey Prediction for Visual Object Tracking[J]. Canadian journal of electrical & computer engineering.2018,41(4).172-178.DOI:10.1109/CJECE.2018.2875142 .

[4] Bourque, Alexandra E., Bedwani, Phane, Carrier, Jean-Francois,等. Particle Filter-Based Target Tracking Algorithm for Magnetic Resonance-Guided Respiratory Compensation: Robustness and Accuracy Assessment[J].International Journal of Radiation Oncology, Biology, Physics.2018,100(2).325-334.DOI:10.1016/j.ijrobp.2017.10.004 .

[5] Liu, Huaping, Yu, Yuanlong, Sun, Fuchun,等. Visual-Tactile Fusion for Object Recognition[J].IEEE transactions on automation science and engineering: a publication of the IEEE Robotics and Automation Society.2017,14(2).996-1008.DOI:10.1109/TASE.2016.2549552 .

[6] Zhang, Le, Suganthan, Ponnuthurai Nagaratnam. Robust visual tracking via co-trained Kernelized correlation filters[J].Pattern Recognition: The Journal of the Pattern Recognition Society.2017.6982-93.

[7] Baochang Zhang, Zhigang Li, Xianbin Cao,等.Output Constraint Transfer for Kernelized Correlation Filter in Tracking[J].IEEE Transactions on Systems, Man, and Cybernetics: Systems.2017,47(4).693-703.DOI:10.1109/TSMC.2016.2629509 .

[8] Yoon, Kuk-Jin, Yoon, Ju Hong, Yang, Ming-Hsuan. Interacting Multiview Tracker[J].IEEE Transactions on Pattern Analysis & Machine Intelligence.2016,38(5).

[9] Hare, Sam, Golodetz, Stuart, Saffari, Amir,等. Struck: Structured Output Tracking with Kernels[J].IEEE Transactions on Pattern Analysis & Machine Intelligence.2016,38(10).

[10] Henriques, Joao F., Caseiro, Rui, Martins, Pedro,等. High-Speed Tracking with Kernelized Correlation Filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence.2015,37(3).583-596.DOI:10.1109/TPAMI.2014.2345390 .