Bionic Object Tracking Algorithm Based on Cross-modal Fusion of Event Domain and RGB Domain

ZHAO Feiyu; DING Hongchang; WANG Zikang; WANG Pengfei

doi:10.12382/bgxb.2025.1021

您当前的位置：

首页 >

文章列表页 >

Bionic Object Tracking Algorithm Based on Cross-modal Fusion of Event Domain and RGB Domain

更新时间：2026-07-23

- Bionic Object Tracking Algorithm Based on Cross-modal Fusion of Event Domain and RGB Domain
- ACTA ARMAMENTARII Vol. 47, Issue 7, Pages: 251021(2026)
- 作者机构：
  
  1.长春理工大学电子信息工程学院，吉林长春 130013
  2.中国电子科技集团公司第五十三研究所，天津 300308
  3.长春理工大学机电工程学院，吉林长春 130013
- 作者简介：
- 基金信息：
- DOI：10.12382/bgxb.2025.1021
  CLC： TP391.413;TJ765.3
- Received：24 November 2025，
  
  Online First：23 July 2026，
  
  Published：31 July 2026
- 稿件说明：
移动端阅览
赵非玉,丁红昌,王子康等.事件域与RGB域跨模态融合的仿生目标跟踪算法[J].兵工学报,2026,47(07):196-212.

ZHAO Feiyu,DING Hongchang,WANG Zikang,et al.Bionic Object Tracking Algorithm Based on Cross-modal Fusion of Event Domain and RGB Domain[J].ACTA ARMAMENTARII,2026,47(07):196-212.
赵非玉,丁红昌,王子康等.事件域与RGB域跨模态融合的仿生目标跟踪算法[J].兵工学报,2026,47(07):196-212. DOI： 10.12382/bgxb.2025.1021.

ZHAO Feiyu,DING Hongchang,WANG Zikang,et al.Bionic Object Tracking Algorithm Based on Cross-modal Fusion of Event Domain and RGB Domain[J].ACTA ARMAMENTARII,2026,47(07):196-212. DOI： 10.12382/bgxb.2025.1021.

摘要

针对复杂恶劣环境下单一模态视觉跟踪鲁棒性差的问题，提出一种事件域与RGB域跨模态融合的仿生目标跟踪算法。根据事件相机与RGB相机的互补特性，搭建一个包含仿生RGB模块、事件模块、跨模态融合模块、分类-回归模块的可适应复杂场景的跟踪框架。实验结果表明，跟踪框架在VisEvent数据集上的精度和成功率分别达61.2、78.1，在FE108数据集上的精度和成功率分别达62.1、92.3，跟踪速率为63帧/s。与单模态跟踪算法相比，可有效抑制高速运动、过暗过曝、相似物干扰等问题。该仿生跟踪框架充分融合了双模态感知优势，可以显著提升复杂环境下的跟踪鲁棒性，更符合全天候、多场域的目标跟踪任务需求。

Abstract

To address the poor robustness of single-model visual tracking in complex and harsh environments， a bionic object tracking algorithm based on the cross-model fusion of event domain and RGB domain is proposed. A tracking framework adaptable to complex scenes is constructed by leveraging the complementary characteristics of event cameras and RGB cameras， which consists of a bionic RGB module， an event module， a cross-modal fusion module， and a classification-regression module. Experimental results demonstrate that the proposed tracking framework achieves an accuracy of 61.2 and a success rate of 78.1 on the VisEvent dataset， and an accuracy of 62.1 and a success rate of 92.3 on the FE108 dataset with a tracking speed of 63 FPS. Compared with single-modal tracking algorithms， it can effectively alleviate the issues such as high-speed motion， underexposure， overexposure， and similar object interference. The proposed bionic tracking framework fully integrates the advantages of dual-modal perception， significantly improves the tracking robustness in complex environments， and better meets the requirements of all-weather and multi-scenario object tracking tasks.

关键词

Keywords

references

LIU S ， LIU D Y ， SRIVASTAVA G ， et al . Overview and methods of correlation filter algorithms in object tracking ［J］. Complex & Intelligent Systems ， 2021 ， 7 ： 1895 - 1917 .

姚佳志，宋延嵩，宋建林，等 . 滚仰式导引头跟踪策略研究［J］. 兵工学报， 2024 ， 45 （ 11 ）： 4031 - 4038 .

YAO J Z ， SONG Y S ， SONG J L ， et al . Research on tracking strategy of roll-pitch seeker ［J］. Acta Armamentarii ， 2024 ， 45 （ 11 ）： 4031 - 4038 . （in Chinese）

杨绪祺，谭启凡，苏航，等 . 面向无人机视觉制导的自适应目标跟踪方法［J］. 兵工学报， 2025 ， 46 （ 2 ）： 240284 .

YANG X Q ， TAN Q F ， SU H ， et al . Guidance-tracker：an adaptive UAV siamese tracker for visual guidance ［J］. Acta Armamentarii ， 2025 ， 46 （ 2 ）： 240284 . （in Chinese）

张忠民，叶聪 . 基于改进ByteTrack与YOLOv10的无人机多目标跟踪算法［J］. 兵工学报， 2026 ， 47 （ 1 ）： 250609 .

ZHANG Z M ， YE C . Drone multi-object tracking algorithm based on improved ByteTrack and YOLOv10 ［J］. Acta Armamentarii ， 2026 ， 47 （ 1 ）： 250609 . （in Chinese）

LICHTSTEINER P ， POSCH C ， DELBRUCK T . A 128 × 128 120 dB 15 µs latency asynchronous temporal contrast vision sensor ［J］. IEEE Journal of Solid-State Circuits ， 2008 ， 43 （ 2 ）： 566 - 576 .

ZHU X F ， XU T Y ， TANG Z Y ， et al . RGBD1K： a large-scale dataset and benchmark for RGB-D object tracking ［C］// Proceedings of the 37th AAAI Conference on Artificial Intelligence . Washington， D.C.， US ： AAAI ， 2023 ， 37 （ 3 ）： 3870 - 3878 .

ZHANG J Q ， WANG Y C ， LIU W X ， et al . Frame-event alignment and fusion network for high frame rate tracking ［C］// Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Vancouver，QC， Canada ： IEEE ， 2023 ： 9781 - 9790 .

ZHU Z Y ， HOU J H ， WU D P ， et al . Cross-modal orthogonal high-rank augmentation for RGB-event transformer-trackers ［C］// Proceedings of 2023 IEEE/CVF International Conference on Computer Vision . Paris， France ： IEEE ， 2023 ： 21988 - 21998 .

HE K M ， CHEN X L ， XIE S N ， et al . Masked autoencoders are scalable vision learners ［C］// Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans， LA， US ： IEEE ， 2022 ： 15979 - 15988 .

ZHU J W ， LAI S M ， CHEN X ， et al . Visual prompt multi-modal tracking ［C］// Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Vancouver， QC， Canada ： IEEE ， 2023 ： 9516 - 9526 .

DOSOVITSKIY A ， BEYER L ， KOLESNIKOV A ， et al . An image is worth 16×16 words： transformers for image recognition at scale ［C］// Proceedings of 2021 International Conference on Learning Representations . Vienna， Austria ： OpenReview.net ， 2021 ： 1 - 16 .

GU A ， GOEL K ， RE C . Efficiently modeling long sequences with structured state spaces ［C］// Proceedings of the Tenth International Conference on Learning Repre-sentations . Virtual Event ： OpenReview.net ， 2022 ： 1 - 15 .

CHEN X ， YAN B ， ZHU J W ， et al . Transformer tracking ［C］// Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville，TN， US ： IEEE ， 2021 ： 8122 - 8131 .

ZHOU L H ， LIAO B C ， ZHANG Q ， et al . Vision Mamba： efficient visual representation learning with bidirectional state space model ［C］// Proceedings of the 41st International Conference on Machine Learning . Vienna， Austria ： ACM ， 2024 ， 235 ： 62429 - 62442 .

HATAMIZADEH A ， KAUTZ J . MambaVision：a hybrid mamba-transformer vision backbone ［C］// Proceedings of the the IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans， LA， US ： IEEE ， 2025 ： 33047 - 33056 .

LI Y ， XING Y ， LAN X Y ， et al . AlignMamba emhancing multimodal mamba with local and global cross-modal alignment ［C］// Preceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans， LA， US ： IEEE ， 2025 ： 33680 - 33689 .

YIN D S ， HU L Y ， LI B ， et al . 5%>100 %： breaking performance shackles of full fine-tuning on visual recognition tasks［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville，GN， US ： IEEE ， 2025 ： 18576 - 18586 .

LOU M ， YU Y Z . OverLoCK： an overview-first-look-closely-next convnet with context-mixing dynamic kernels ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans， LA， US ： IEEE ， 2025 ： 12345 - 12355 .

WANG X ， LI J N ， ZHU L ， et al . VisEvent： reliable object tracking via collaboration of frame and event flows ［J］. IEEE Transactions on Cybernetics ， 2024 ， 54 （ 3 ）： 1997 - 2010 .

ZHANG J Q ， YANG X ， FU Y K ， et al . Object tracking by jointly exploiting frame and event domain ［C］// Proceedings of the IEEE International Conference on Computer Vision . Montreal， Quebec， Canada ： IEEE ， 2021 ： 1234 - 1242 .

ZHANG J Q ， DONG B ， ZHANG H W ， et al . Spiking transformers for event-based single object tracking ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Virtual Conference. New Orleans ， LA， US ： IEEE ， 2022 ： 435 - 443 .

SZAGEDY C ， LIU W ， JIA Y Q ， et al . Going deeper with convolutions ［C］// Proceedings of the IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition . Boston，MA， US ： IEEE ， 2015 ： 1 - 9 .

BA J L ， KIROS J R ， HINTON G E . Layer normaliza- tion：arXiv： 1607.06450 ［R］. Ithaca，NY，US ： Cornell University ， 2016 ： 1607 . 06450 .

HU J ， SHEN L ， SUN G ， et al . Squeeze-and-excitation networks ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognitio . Salt Lake City， UT， US ： IEEE ， 2018 ： 7132 - 7141 .

WANG W H ， XIE E Z ， LI X ， et al . Pvt v2： improved baselines with pyramid vision transformer ［J］. Computational Visual Media ， 2022 ， 8 （ 3 ）： 415 - 424 .

CAO Y H ， CHEN K ， LOY C C ， et al . Prime sample attention in object detection ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle， WA， US ： IEEE ， 2020 ： 11580 - 11588 .

WU S K ， YANG J R ， WANG X G ， et al . IOU-balanced loss functions for single-stage object detection ［J］. Pattern Recognition Letters ， 2022 ， 156 ： 96 - 103 .

LI X ， WANG W H ， WU L J ， et al . Generalized focal loss： learning qualified and distributed bounding boxes for dense object detection：arXiv：21002-21012 ［R］. Ithaca，NY，US ： Cornell University ， 2020 ： 21002 - 21012 .

ZHANG Z P ， PENG H W ， FU J L ， et al . Ocean： object-aware anchor-free tracking ［C］// Proceedings of the 16th European Conference on Computer Vision . Cham， Switzerland ： Spinger ， 2020 ： 771 - 787 .

ZHENG Y Z ， ZHONG B N ， LIANG Q H ， et al . ODTrack：online dense temporal token learning for visual tracking ［C］// Proceedings of the 38th AAAI Conference on Artificial Intelligence . Vancouver， QC， Canada ： AAAI Press ， 2024 ： 7588 - 7596 .

YAN W Q ， LIN C L ， WANG Y B ， et al . OmniEvent： unified event representation learning：arXiv：2508.01842 ［R］. Ithaca，NY，US ： Cornell University ， 2025 ： 2508 . 01842 .

ZHU J W ， LAI S M ， CHEN X ， et al . Visual prompt multi-modal tracking ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle， WA， US ： IEEE ， 2023 ： 9516 - 9526 .

SHAO P C ， XU T Y ， TANG Z Y ， et al . TENet： targetness entanglement incorporating with multi-scale pooling and mutually-guided fusion for RGB-E object tracking：arXiv：2405.05004 ［R］. Ithaca，NY，US ： Cornell University ， 2024 ： 2405 . 05004 .

TANG C M ， WANG X ， HUANG J ， et al . Revisiting color-event based tracking： a unified network， dataset， and metric：arXiv：2211. 11010 ［R］. Ithaca，NY，US ： Cornell University ， 2022 ： 2211 . 11010 .

HUANG J ， WANG S A ， WANG S ， et al . Mambafetrack： frame-event tracking via state space model ［C］// Proceedings of Chinese Conference on Pattern Recognition and Computer Vision . Chengdu， China ： Springer ， 2024 ： 3 - 18 .

Views

下载量

CNKI被引量

Alert me when the article has been cited

提交

Tools

Publicity Resources

Remote Sensing Map Compression Method Based on Structure Feature Preserving Network

Single Object Tracking Algorithm Based on Preceding-feature Prompts

Fast Prediction of Human Blunt Impact Response Characteristics Based on Surrogate Model

Prediction of Exterior Ballistics and Impact Point of Mortar Based on Transformer-LSTM Hybrid Neural Network

Lightweight Design of Transparent Laminated Structures and Its Dynamic Response under Blast Loads

Related Author

ZHAO Feiyu

DING Hongchang

WANG Zikang

WANG Pengfei

WANG Lu

ZHAO Na

TANG Hengxian

ZHENG Ying

Related Institution

Changchun University of Science and Technology, School of Mechanical and Electrical Engineering

53rd Research Institute of China Electronics Technology Group Corporation

Changchun University of Science and Technology, School of Electronic Information Engineering

Xi'an ASN Technology Group Co.， Ltd.

School of Energy and Power Engineering, Nanjing University of Science and Technology

Postal code：100089
Tel：010-68963060/68962718 Fax：010-68963025 Email：bgxb@cos.org.cn
Technical support is provided by Beijing Founder electronics co., LTD 京ICP备05059581号-4 京公网安备11010802024360号
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.
Total Visits：227783 Visits Today：1133

⁰