面向多光谱无人机遥感图像的双流融合跨模态目标检测方法

廖欢; 顾成杰; 朱东郡; 孟义

doi:10.12382/bgxb.2025.0480

您当前的位置：

首页 >

文章列表页 >

面向多光谱无人机遥感图像的双流融合跨模态目标检测方法

更新时间：2026-09-04

- 面向多光谱无人机遥感图像的双流融合跨模态目标检测方法
- An Object Detection Method for Multispectral UAV Remote Sensing Images
- 兵工学报 2026年47卷第8期页码：250480
- 作者机构：
  
  1.安徽理工大学安全科学与工程学院，安徽淮南 232001
  2.安徽理工大学计算机科学与工程学院，安徽淮南 232001
  3.安徽理工大学公共安全与应急管理学院，安徽合肥 231131
- 作者简介：
  
  邮箱：cjgu@aust.edu.cn
- 基金信息：
  
  国家长三角科技创新共同体联合攻关项目(2023CSJGG1100);国家自然科学基金重大科研仪器研制项目(52227901);国家重点研发计划项目(2024YFC3013800);安徽省高等学校科学研究项目(2023AH051197)
- DOI：10.12382/bgxb.2025.0480
  中图分类号： TP391.4
- 收稿：2025-06-10，
  
  纸质出版：2026-08-31
- 稿件说明：
移动端阅览
廖欢,顾成杰,朱东郡等.面向多光谱无人机遥感图像的双流融合跨模态目标检测方法[J].兵工学报,2026,47(08):250480.

LIAO Huan,GU Chengjie,ZHU Dongjun,et al.An Object Detection Method for Multispectral UAV Remote Sensing Images[J].ACTA ARMAMENTARII,2026,47(08):250480.
廖欢,顾成杰,朱东郡等.面向多光谱无人机遥感图像的双流融合跨模态目标检测方法[J].兵工学报,2026,47(08):250480. DOI： 10.12382/bgxb.2025.0480.

LIAO Huan,GU Chengjie,ZHU Dongjun,et al.An Object Detection Method for Multispectral UAV Remote Sensing Images[J].ACTA ARMAMENTARII,2026,47(08):250480. DOI： 10.12382/bgxb.2025.0480.

摘要

针对当前无人机多光谱遥感目标检测中存在的模态内特征弱化与跨模态交互低效问题，提出一种融合双流单模态增强与跨模态特征交互的目标检测方法。设计一种基于深度可分离卷积的小波变换模块，通过提取并增强特征图的高频细节信息，强化可见光分支对纹理细节的提取能力。提出一种跨尺度全局信息融合模块，利用多尺度特征整合和全局信息提取，增强红外分支对热物体的检测能力。构建一种多模态混合自注意力融合模块，通过自适应引导可见光与红外模态的特征交互，充分挖掘光谱间互补性。实验结果表明，该方法在可见光-红外多光谱数据集DVTOD和DroneVehicle上的mAP@0.50分别达到86.7%和86.0%，较基线模型分别提升1.3%和1.9%，有效提升了无人机多光谱目标检测性能。

Abstract

To address the issues of weakened intra-modal features and inefficient cross-modal interaction in current UAV multispectral remote sensing object detection， an object detection method that integrates dual-stream single-modal enhancement and cross-modal feature interaction is proposed. A wavelet transform module based on depthwise separable convolution is designed to extract and enhance the high-frequency detail information in feature maps， thus strengthening the texture detail extraction capability of the visible light branch. A cross-scale global information fusion module is proposed， which utilizes multi-scale feature integration and global information extraction to enhance the detection capability of the infrared branch for thermal objects. A multimodal hybrid self-attention fusion module is constructed to adaptively guide the feature interaction between visible light and infrared modalities， fully exploiting spectral complementarity. Experimental results show that the proposed method achieves mAP@0.5 of 86.7% and 86.0% on the visible-infrared multispectral datasets DVTOD and DroneVehicle， respectively， and improves them by 1.3% and 1.9%， respectively， compared to the baseline model， effectively enhancing the performance of UAV multispectral object detection.

关键词

Keywords

references

苏向阳，汪洋，谭森起，等 . PCA-YOLO11：全域复杂环境的轻量目标检测［J］. 兵工学报， 2025 ， 46 （增刊2 ）： 250584 .

Su X Y ， Wang Y ， Tan S Q ， et al . PCA-YOLO11： lightweight object detection in multi-altitude complex environments ［J］. Acta Armamentarii ， 2025 ， 46 （ S2 ）： 250584 . （in Chinese）

赵紫臣，萧浩东，凌焕章 . 基于YOLOv10n的轻量化红外小目标检测模型［J］. 兵工学报， 2025 ， 46 （ 11 ）： 250146 .

Zhao Z C ， Xiao H D ， Ling H Z . Lightweight infrared small target detection model based on YOLOv10n ［J］. Acta Armamentarii ， 2025 ， 46 （ 11 ）： 250146 . （in Chinese）

王泉，叶广飞，陈祺东 . YOLO-SWR：无人机视角下轻量级交通车辆检测方法［J］. 计算机工程与应用， 2025 ， 61 （ 14 ）： 112 - 122 .

Wang Q ， Ye G F ， Chen Q D . Lightweight traffic vehicle detection algorithm from UAV perspective ［J］. Computer Engineering and Applications ， 2025 ， 61 （ 14 ）： 112 - 122 . （in Chinese）

徐相华，周德靖，余超然，等 . 基于DCA-YOLO的受病虫害侵染树木农业无人机低空检测模型［J］. 农业机械学报， 2025 ， 56 （ 10 ）： 479 - 491 .

Xu X H ， Zhou D J ， Yu C R ， et al . Improved model for low altitude detection of trees infected by pests and diseases using agricultural drones based on DCA-YOLO ［J］. Transactions of the Chinese Society for Agricultural Machinery ， 2025 ， 56 （ 10 ）： 479 - 491 . （in Chinese）

丁子天，喜文飞，钱堂慧，等 . 结合多特征的无人机雾天影像识别［J］. 红外技术， 2025 ， 47 （ 7 ）： 833 - 841 .

Ding Z T ， Xi W F ， Qian T H ， et al . Multiple feature fusion for unmanned aerial vehicle image recognition in foggy weather ［J］. Infrared Technology ， 2025 ， 47 （ 7 ）： 833 - 841 . （in Chinese）

孙备，党昭洋，吴鹏，等 . 多尺度互交叉注意力改进的单无人机对地伪装目标检测定位方法［J］. 仪器仪表学报， 2023 ， 44 （ 6 ）： 54 - 65 .

Sun B ， Dang Z Y ， Wu P ， et al . Multi scale cross attention improved method of single unmanned aerial vehicle for ground camouflage target detection and localization ［J］. Chinese Journal of Scientific Instrument ， 2023 ， 44 （ 6 ）： 54 - 65 . （in Chinese）

付琨，王佩瑾，冯瑛超，等 . 遥感跨模态智能解译：模型、数据与应用［J］. 中国科学：信息科学， 2023 ， 53 （ 8 ）： 1529 - 1559 .

Fu K ， Wang P J ， Feng Y C ， et al . Cross-modal remote sensing intelligent interpretation：method， data and application ［J］. Scientia Sinica（Informationis）， 2023 ， 53 （ 8 ）： 1529 - 1559 . （in Chinese）

Xie Z X ， Shao F ， Chen G ， et al . Cross-modality double bidirectional interaction and fusion network for RGB-T Salient object detection ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2023 ， 33 （ 8 ）： 4149 - 4163 .

Wang K P ， Tu Z Z ， Li C L ， et al . Learning adaptive fusion bank for multi-modal salient object detection ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2024 ， 34 （ 8 ）： 7344 - 7358 .

Liu X Y ， Qi J H ， Chen C ， et al . Relation-aware weight sharing in decoupling feature learning network for UAV RGB-infrared vehicle re-identification ［J］. IEEE Transactions on Multimedia ， 2024 ， 26 ： 9839 - 9853 .

Zhang J Q ， Lei J ， Xie W Y ， et al . SuperYOLO：super-resolution assisted object detection in multimodal remote sensing imagery ［PP/OL］. arXiv （ 2023-04-08 ）［ 2025-05-10 ］. https：//doi.org/10.48550/arXiv.2209.13351 https://doi.org/10.48550/arXiv.2209.13351 .

Chen Y S ， Wang B R ， Guo X Y ， et al . Deyolo： dual-feature-enhancement yolo for cross-modality object detection ［J］. Lecture Notes in Computer Science ， 2024 ， 15317 ： 236 - 252 .

Fang Q Y ， Han D P ， Wang Z K . Cross-modality fusion transformer for multispectral object detection ［PP/OL］. arXiv （ 2022-10-04 ）［ 2025-05-08 ］. https：//doi.org/10.48550/arXiv. 2111.00273 https://doi.org/10.48550/arXiv.2111.00273 .

Shen J ， Chen Y ， Liu Y ， et al . ICAFusion： iterative cross-attention guided feature fusion for multispectral object detection ［J］. Pattern Recognition ， 2024 ， 145 ： 109913 .

代小波，任思羽，何小海，等 . 基于特征增强和对齐融合的可见光-红外图像融合目标检测［J］. 工程科学学报， 2025 ， 47 （ 12 ）： 2554 - 2565 .

Dai X B ， Ren S Y ， He X H ， et al . Visible-infrared fusion object detection based on feature enhancement and alignment fusion ［J］. Chinese Journal of Engineering ， 2025 ， 47 （ 12 ）： 2554 - 2565 . （in Chinese）

Xiao Y M ， Meng F M ， Wu Q B ， et al . GM-DETR：generalized multispectral detection transformer with efficient fusion encoder for visible-infrared detection ［C］// 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . 2024 ： 17157 - 17166 .

Song K C ， Xue X T ， Wen H W ， et al . Misaligned visible-thermal object detection： a drone-based benchmark and baseline ［J］. IEEE Transactions on Intelligent Vehicles ， 2024 ， 9 （ 11 ）： 7449 - 7460 .

Finder S E ， Amoyal R ， Treister E ， et al . Wavelet convolutions for large receptive fields ［C］// European Conference on Computer Vision . 2024 ： 363 - 380 .

Cao Y ， Xu J R ， Lin S ， et al . GCNet： non-local networks meet squeeze-excitation networks and beyond ［C］// 2019 IEEE/CVF International Conference on Computer Vision Workshop . 2019 ： 1971 - 1980 .

Sun Y M ， Cao B ， Zhu P F ， et al . Drone-based RGB-infrared cross-modality vehicle detection via uncertainty-aware learning ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2022 ， 32 （ 10 ）： 6700 - 6713 .

浏览量

下载量

CNKI被引量

文章被引用时，请邮件提醒。

提交

工具集

关联资源

氢能炮射无人机精确内弹道模型研究与试验验证

基于实时分频协同的混合动力车辆自适应能量管理策略

基于多小波基融合的脉冲激光抗烟雾干扰算法

视场约束下无人机动态降落图像视觉伺服控制

基于动力学统一模型的驱动故障容错控制技术