兵工学报 ›› 2023, Vol. 44 ›› Issue (10): 3165-3176.doi: 10.12382/bgxb.2022.0605
王强1,2,3, 吴乐天1,2, 李红1,2, 王勇3, 王欢4, 杨万扣1,2,*()
收稿日期:
2022-07-05
上线日期:
2023-10-30
通讯作者:
基金资助:
WANG Qiang1,2,3, WU Letian1,2, LI Hong1,2, WANG Yong3, WANG Huan4, YANG Wankou1,2,*()
Received:
2022-07-05
Online:
2023-10-30
摘要:
红外弱小目标检测在预警系统和导弹制导中具有重要的作用,一直是红外图像处理中颇受关注的研究方向。由于红外弱小目标具有信杂比低、尺寸小、形状结构不明显和纹理弱等特点,现有的通用目标检测和语义分割网络直接应用到红外弱小目标检测效果不佳,为此提出一种基于双支网络协作的红外弱小目标检测网络(DualNet)。将检测任务划分成两个子任务,即降低漏检和降低虚警,进而设计两个不同的网络架构分别处理,并利用加权融合损失函数将两支网络信息整合,使得DualNet能够有效地平衡漏检率和虚警率。在自建数据集上的实验结果表明:DualNet相较于通用性能较好的FCN、DeepLabv3、cGAN以及U-net语义分割网络模型具备更高的准确率和鲁棒性,其在F1-measure指标上提高了8%;在SIRST公开数据集上的检测性能也显著超过了基于深度学习的红外目标检测模型ACM和MDvsFA-cGAN,以及多个经典的非深度学习红外弱小目标检测方法。研究结果表明,所提出的方法能够有效提高红外弱小目标的检测精度。
中图分类号:
王强, 吴乐天, 李红, 王勇, 王欢, 杨万扣. 基于双支网络协作的红外弱小目标检测[J]. 兵工学报, 2023, 44(10): 3165-3176.
WANG Qiang, WU Letian, LI Hong, WANG Yong, WANG Huan, YANG Wankou. An Infrared Small Target Detection Method via Dual Network Collaboration[J]. Acta Armamentarii, 2023, 44(10): 3165-3176.
数据集 | 算法 | Precision↑ | Recall↑ | F1-measure↑ |
---|---|---|---|---|
FCN-RSTN[ | 0.12 | 0.75 | 0.21 | |
cGAN[ | 0.13 | 0.60 | 0.21 | |
All Seqs | U-net[ | 0.01 | 0.01 | 0.01 |
DeepLabv3[ | 0.17 | 0.59 | 0.27 | |
DualNet | 0.36 | 0.44 | 0.40 | |
FCN-RSTN[ | 0.54 | 0.39 | 0.45 | |
cGAN[ | 0.28 | 0.71 | 0.40 | |
Single | U-net[ | 0.01 | 0.02 | 0.01 |
DeepLabv3[ | 0.22 | 0.57 | 0.31 | |
DualNet | 0.52 | 0.54 | 0.53 |
表1 不同方法的结果对比
Table 1 Experimental results using different methods
数据集 | 算法 | Precision↑ | Recall↑ | F1-measure↑ |
---|---|---|---|---|
FCN-RSTN[ | 0.12 | 0.75 | 0.21 | |
cGAN[ | 0.13 | 0.60 | 0.21 | |
All Seqs | U-net[ | 0.01 | 0.01 | 0.01 |
DeepLabv3[ | 0.17 | 0.59 | 0.27 | |
DualNet | 0.36 | 0.44 | 0.40 | |
FCN-RSTN[ | 0.54 | 0.39 | 0.45 | |
cGAN[ | 0.28 | 0.71 | 0.40 | |
Single | U-net[ | 0.01 | 0.02 | 0.01 |
DeepLabv3[ | 0.22 | 0.57 | 0.31 | |
DualNet | 0.52 | 0.54 | 0.53 |
模型 | 数据集 | Precision↑ | Recall↑ | F1-measure↑ |
---|---|---|---|---|
Dilated-Conv | All Seqs | 0.32 | 0.36 | 0.34 |
Single | 0.45 | 0.44 | 0.45 | |
ASPP | All Seqs | 0.34 | 0.42 | 0.38 |
Single | 0.48 | 0.46 | 0.47 | |
ASPP+PPM | All Seqs | 0.32 | 0.38 | 0.35 |
Single | 0.46 | 0.45 | 0.45 | |
ASPP+SPP | All Seqs | 0.34 | 0.48 | 0.40 |
Single | 0.49 | 0.53 | 0.51 | |
ASPP+SPP+ | All Seqs | 0.46 | 0.44 | 0.40 |
scSE | Single | 0.52 | 0.53 | 0.52 |
ASPP+SPP+ | All Seqs | 0.36 | 0.44 | 0.40 |
scSE+DCNv2 | Single | 0.52 | 0.54 | 0.53 |
表3 DualNet方法的消融实验
Table 3 Ablation experiments of DualNet method
模型 | 数据集 | Precision↑ | Recall↑ | F1-measure↑ |
---|---|---|---|---|
Dilated-Conv | All Seqs | 0.32 | 0.36 | 0.34 |
Single | 0.45 | 0.44 | 0.45 | |
ASPP | All Seqs | 0.34 | 0.42 | 0.38 |
Single | 0.48 | 0.46 | 0.47 | |
ASPP+PPM | All Seqs | 0.32 | 0.38 | 0.35 |
Single | 0.46 | 0.45 | 0.45 | |
ASPP+SPP | All Seqs | 0.34 | 0.48 | 0.40 |
Single | 0.49 | 0.53 | 0.51 | |
ASPP+SPP+ | All Seqs | 0.46 | 0.44 | 0.40 |
scSE | Single | 0.52 | 0.53 | 0.52 |
ASPP+SPP+ | All Seqs | 0.36 | 0.44 | 0.40 |
scSE+DCNv2 | Single | 0.52 | 0.54 | 0.53 |
数据集 | α | β | F1-measure↑ |
---|---|---|---|
0.05 | 0.95 | 0.38 | |
0.1 | 0.9 | 0.40 | |
0.2 | 0.8 | 0.36 | |
0.3 | 0.7 | 0.37 | |
All Seqs | 0.4 | 0.6 | 0.34 |
0.5 | 0.5 | 0.33 | |
0.6 | 0.4 | 0.31 | |
0.7 | 0.3 | 0.31 | |
0.8 | 0.2 | 0.30 | |
0.05 | 0.95 | 0.51 | |
0.1 | 0.9 | 0.53 | |
0.2 | 0.8 | 0.51 | |
0.3 | 0.7 | 0.51 | |
Single | 0.4 | 0.6 | 0.50 |
0.5 | 0.5 | 0.50 | |
0.6 | 0.4 | 0.49 | |
0.7 | 0.3 | 0.49 | |
0.8 | 0.2 | 0.47 |
表4 不同权重对DualNet方法影响
Table 4 Influence of α and β on DualNet method
数据集 | α | β | F1-measure↑ |
---|---|---|---|
0.05 | 0.95 | 0.38 | |
0.1 | 0.9 | 0.40 | |
0.2 | 0.8 | 0.36 | |
0.3 | 0.7 | 0.37 | |
All Seqs | 0.4 | 0.6 | 0.34 |
0.5 | 0.5 | 0.33 | |
0.6 | 0.4 | 0.31 | |
0.7 | 0.3 | 0.31 | |
0.8 | 0.2 | 0.30 | |
0.05 | 0.95 | 0.51 | |
0.1 | 0.9 | 0.53 | |
0.2 | 0.8 | 0.51 | |
0.3 | 0.7 | 0.51 | |
Single | 0.4 | 0.6 | 0.50 |
0.5 | 0.5 | 0.50 | |
0.6 | 0.4 | 0.49 | |
0.7 | 0.3 | 0.49 | |
0.8 | 0.2 | 0.47 |
损失函数 | 数据集 | F1-measure↑ |
---|---|---|
Focal Loss | All Seqs | 0 |
Single | 0 | |
L1 Loss | All Seqs | 0 |
Single | 0 | |
Balanced L1 Loss | All Seqs | 0 |
Single | 0 | |
Smooth L1 Loss | All Seqs | 0.40 |
Single | 0.53 | |
L2 Loss | All Seqs | 0.34 |
Single | 0.47 |
表5 不同损失函数的DualNet方法效果
Table 5 Influence of different loss functions on DualNet method
损失函数 | 数据集 | F1-measure↑ |
---|---|---|
Focal Loss | All Seqs | 0 |
Single | 0 | |
L1 Loss | All Seqs | 0 |
Single | 0 | |
Balanced L1 Loss | All Seqs | 0 |
Single | 0 | |
Smooth L1 Loss | All Seqs | 0.40 |
Single | 0.53 | |
L2 Loss | All Seqs | 0.34 |
Single | 0.47 |
数据集 | λ1 | λ2 | F1-measure↑ |
---|---|---|---|
100 | 10 | 0.53 | |
All Seqs | 50 | 5 | 0.46 |
10 | 1 | 0.43 | |
100 | 10 | 0.40 | |
Single | 50 | 5 | 0.38 |
10 | 1 | 0.37 |
表6 参数λ1和λ2的不同选取对性能的影响
Table 6 Influence of different values of λ1 and λ2
数据集 | λ1 | λ2 | F1-measure↑ |
---|---|---|---|
100 | 10 | 0.53 | |
All Seqs | 50 | 5 | 0.46 |
10 | 1 | 0.43 | |
100 | 10 | 0.40 | |
Single | 50 | 5 | 0.38 |
10 | 1 | 0.37 |
模型 | 参数量/106 | 每张检测时间/ms |
---|---|---|
网络分支1 | 0.71 | 1 |
网络分支2 | 0.86 | 8 |
表7 DualNet模型的参数量以及检测速度
Table 7 Speed and model size of DualNet model
模型 | 参数量/106 | 每张检测时间/ms |
---|---|---|
网络分支1 | 0.71 | 1 |
网络分支2 | 0.86 | 8 |
方法 | IoU/10-2 | Pd/10-2 | Fa/10-2 |
---|---|---|---|
Top-Hat[ | 7.143 | 79.84 | 0.1000 |
Max-Median[ | 4.172 | 69.20 | 0.0060 |
WSLCM[ | 1.158 | 77.95 | 0.5400 |
TLLCM[ | 1.029 | 79.09 | 0.5899 |
IPI[ | 25.67 | 85.55 | 0.0011 |
NRAM[ | 12.16 | 74.52 | 0.0014 |
RIPT[ | 11.05 | 79.08 | 0.0023 |
PSTNN[ | 22.40 | 77.95 | 0.0029 |
MSLSTIPT[ | 10.30 | 82.13 | 0.1131 |
ACM[ | 70.33 | 93.91 | 0.0004 |
MDvsFA-cGAN[ | 60.30 | 89.35 | 0.0056 |
DualNet | 71.37 | 100.00 | 0.0014 |
表8 SIRST数据集上泛化性能测试
Table 8 Generalization capability tests over SIRST dataset
方法 | IoU/10-2 | Pd/10-2 | Fa/10-2 |
---|---|---|---|
Top-Hat[ | 7.143 | 79.84 | 0.1000 |
Max-Median[ | 4.172 | 69.20 | 0.0060 |
WSLCM[ | 1.158 | 77.95 | 0.5400 |
TLLCM[ | 1.029 | 79.09 | 0.5899 |
IPI[ | 25.67 | 85.55 | 0.0011 |
NRAM[ | 12.16 | 74.52 | 0.0014 |
RIPT[ | 11.05 | 79.08 | 0.0023 |
PSTNN[ | 22.40 | 77.95 | 0.0029 |
MSLSTIPT[ | 10.30 | 82.13 | 0.1131 |
ACM[ | 70.33 | 93.91 | 0.0004 |
MDvsFA-cGAN[ | 60.30 | 89.35 | 0.0056 |
DualNet | 71.37 | 100.00 | 0.0014 |
[1] |
|
[2] |
|
[3] |
赵耀. 红外弱小目标检测算法研究[D]. 杭州: 浙江大学, 2015.
|
|
|
[4] |
万丽丽. 基于背景预测的红外目标检测[D]. 武汉: 华中科技大学, 2015.
|
|
|
[5] |
韩金辉, 董兴浩, 李知静, 等. 基于局部对比度机制的红外弱小目标检测算法[J]. 红外技术, 2021, 43(4): 357-366.
|
|
|
[6] |
危水根, 王程伟, 陈震, 等. 基于视觉注意机制的红外弱小目标检测[J]. 光子学报, 2021, 50(1): 0110001.
|
|
|
[7] |
朱硕雅, 杨德振, 贾鹏, 等. 时空联合红外小目标检测算法的设计与实现[J]. 红外与激光, 2021, 51(3): 388-392.
|
|
|
[8] |
娄康. 基于深度学习与生物视觉机制的红外弱小目标检测与跟踪方法研究[D]. 镇江: 江苏科技大学, 2020.
|
|
|
[9] |
黄乐弘. 基于深度学习的空中红外目标检测方法研究[D]. 北京: 中国科学院大学, 2020.
|
|
|
[10] |
|
[11] |
杨其利, 周炳红, 郑伟. 基于全卷积递归网络的弱小目标检测方法[J]. 光学学报, 2020, 40(13): 43-55.
|
|
|
[12] |
梁杰, 李磊, 任君. 基于深度学习的红外图像遮挡干扰检测方法[J]. 兵工学报, 2019, 40(7): 1401-1410.
doi: 10.3969/j.issn.1000-1093.2019.07.009 |
doi: 10.3969/j.issn.1000-1093.2019.07.009 |
|
[13] |
田萱, 王亮, 丁琪. 基于深度学习的图像语义分割方法综述[J]. 软件学报, 2019, 30(2): 440-468.
|
|
|
[14] |
|
[15] |
|
[16] |
|
[17] |
|
[18] |
|
[19] |
|
[20] |
|
[21] |
doi: 10.1109/TPAMI.2015.2389824 pmid: 26353135 |
[22] |
|
[23] |
|
[24] |
|
[25] |
doi: 10.1109/TPAMI.34 URL |
[26] |
|
[27] |
|
[28] |
|
[29] |
|
[30] |
|
[31] |
|
[32] |
|
[33] |
doi: 10.1109/TPAMI.34 URL |
[34] |
doi: 10.1117/1.600620 URL |
[35] |
|
[36] |
doi: 10.1109/LGRS.2020.3004978 URL |
[37] |
doi: 10.1109/LGRS.8859 URL |
[38] |
pmid: 24043387 |
[39] |
doi: 10.3390/rs10111821 URL |
[40] |
doi: 10.1109/JSTARS.4609443 URL |
[41] |
doi: 10.3390/rs11040382 URL |
[42] |
doi: 10.1109/TGRS.2020.3022069 URL |
[43] |
|
[44] |
|
[1] | 熊光明, 罗震, 孙冬, 陶俊峰, 唐泽月, 吴超. 基于红外相机和毫米波雷达融合的烟雾遮挡无人驾驶车辆目标检测与跟踪[J]. 兵工学报, 2024, 45(3): 893-906. |
[2] | 田大明, 苗圃. 融合模型求解与深度学习的可见光通信非线性均衡器[J]. 兵工学报, 2024, 45(2): 466-473. |
[3] | 张堃, 杜睿怡, 时昊天, 华帅. 基于Mogrifier-BiGRU的飞行器轨迹预测[J]. 兵工学报, 2024, 45(2): 373-384. |
[4] | 杨家铭, 潘悦, 王强, 曹怀刚, 高荪培. 水下弱目标跟踪的深度学习方法研究[J]. 兵工学报, 2024, 45(2): 385-394. |
[5] | 秦昊林, 许廷发, 李佳男. 基于超像素注意力和孪生结构的半监督高光谱显著性目标检测[J]. 兵工学报, 2023, 44(9): 2639-2649. |
[6] | 惠康华, 杨卫, 刘浩翰, 张智, 郑锦, 百晓. 基于YOLOv5的增强多尺度目标检测方法[J]. 兵工学报, 2023, 44(9): 2600-2610. |
[7] | 彭沛然, 任术波, 李佳男, 周鸿伟, 许廷发. 基于光照感知的多光谱融合行人检测方法[J]. 兵工学报, 2023, 44(9): 2622-2630. |
[8] | 周宇, 曹荣刚, 栗苹, 马啸. 一种用于外场试验图像的引信炸点检测方法[J]. 兵工学报, 2023, 44(8): 2453-2464. |
[9] | 王学敏, 于洪波, 张翔宇, 安舒, 李文海. 基于Hough变换检测前跟踪的水下多目标被动检测方法[J]. 兵工学报, 2023, 44(7): 2114-2121. |
[10] | 柳嵩, 姚直象, 陆代强, 袁骏. 一种基于被动声呐宽带空间谱的自动检测算法[J]. 兵工学报, 2023, 44(6): 1764-1774. |
[11] | 马鹏阁, 魏宏光, 孙俊灵, 陶然, 庞栋栋, 单涛, 蔡志勇, 刘兆瑜. 基于高斯-拉普拉斯滤波的增强局部对比度红外小目标检测算法[J]. 兵工学报, 2023, 44(4): 1041-1049. |
[12] | 孙强, 张伽伟, 喻鹏. 基于海洋浮标的电场干扰特性分析及信号检测方法[J]. 兵工学报, 2023, 44(3): 857-864. |
[13] | 张良安, 陈洋, 谢胜龙, 刘同鑫. 基于机器视觉与深度学习的飞机防护栅裂纹检测系统[J]. 兵工学报, 2023, 44(2): 507-516. |
[14] | 王洋, 冯永新, 宋碧雪, 田秉禾. DP-DRCnet卷积神经网络信号调制识别算法[J]. 兵工学报, 2023, 44(2): 545-555. |
[15] | 郭永红, 牛海涛, 史超, 郭铖. 基于卷积和注意力机制的小样本目标检测[J]. 兵工学报, 2023, 44(11): 3508-3515. |
阅读次数 | ||||||
全文 |
|
|||||
摘要 |
|
|||||