兵工学报 ›› 2023, Vol. 44 ›› Issue (9): 2622-2630.doi: 10.12382/bgxb.2022.1114
所属专题: 智能系统与装备技术
彭沛然1, 任术波2, 李佳男1, 周鸿伟2, 许廷发1,*()
收稿日期:
2022-11-29
上线日期:
2023-07-28
通讯作者:
基金资助:
PENG Peiran1, REN Shubo2, LI Jianan1, ZHOU Hongwei2, XU Tingfa1,*()
Received:
2022-11-29
Online:
2023-07-28
摘要:
多光谱行人检测在智能安防、自动驾驶等领域得到广泛应用。在光照较弱或存在遮挡的情况下,行人检测的准确性和鲁棒性仍然面临挑战。为解决这个问题,提出一种新的光照感知跨光谱融合行人检测网络。该网络利用交叉注意力和光照感知机制来充分利用多光谱特异性特征,以提高行人检测的鲁棒性和准确性。为增强两光谱之间特征表达,引入交叉注意力模块。此外提出一个光照感知子网络,它能够根据可见光和红外光谱的光照强度变化自适应地选择有效的光谱特征信息,从而提高检测系统的鲁棒性。在两个主流的多光谱行人数据集上进行了实验。实验结果显示,新方法在检测精度和检测速度方面都优于现有方法,所得成果对于提高行人检测模型的鲁棒性和泛用性具有重要意义,并在实际应用中具有广泛的潜力。
中图分类号:
彭沛然, 任术波, 李佳男, 周鸿伟, 许廷发. 基于光照感知的多光谱融合行人检测方法[J]. 兵工学报, 2023, 44(9): 2622-2630.
PENG Peiran, REN Shubo, LI Jianan, ZHOU Hongwei, XU Tingfa. Illumination-aware Multispectral Fusion Network for Pedestrian Detection[J]. Acta Armamentarii, 2023, 44(9): 2622-2630.
方法 | 所有 | 白天 | 夜晚 | 近距离 | 中距离 | 远距离 | 无遮挡 | 部分遮挡 | 重度遮挡 |
---|---|---|---|---|---|---|---|---|---|
ACF[ | 47.32 | 42.57 | 56.17 | 28.74 | 53.67 | 88.20 | 62.94 | 81.40 | 88.08 |
Halfway Fusion [ | 25.75 | 24.88 | 26.59 | 8.13 | 30.34 | 75.70 | 43.13 | 65.21 | 74.36 |
Fusion RPN+BN[ | 18.29 | 19.57 | 16.27 | 0.04 | 30.87 | 88.86 | 47.75 | 56.10 | 72.20 |
MSDS-RCNN[ | 11.63 | 10.60 | 13.73 | 1.29 | 16.19 | 63.73 | 29.86 | 38.71 | 63.37 |
IAF-RCNN [ | 15.73 | 14.55 | 18.26 | 0.96 | 25.54 | 77.84 | 40.17 | 48.40 | 69.76 |
CIAN[ | 14.12 | 14.77 | 11.13 | 3.71 | 19.04 | 55.82 | 30.31 | 41.57 | 62.48 |
AR-CNN[ | 9.34 | 9.94 | 8.38 | 0.00 | 16.08 | 69.00 | 31.40 | 38.63 | 55.73 |
MBNet [ | 8.13 | 8.28 | 7.86 | 0.00 | 16.07 | 55.99 | 27.74 | 35.43 | 59.14 |
本文方法 | 7.62 | 8.51 | 5.99 | 0.01 | 12.18 | 48.14 | 24.15 | 27.84 | 52.64 |
表1 KAIST多光谱行人数据集[6]的所有9个子集的漏检率比较
Table 1 Missratecomparison on all nine subsets of the KAIST multispectral pedestrian dataset[6]
方法 | 所有 | 白天 | 夜晚 | 近距离 | 中距离 | 远距离 | 无遮挡 | 部分遮挡 | 重度遮挡 |
---|---|---|---|---|---|---|---|---|---|
ACF[ | 47.32 | 42.57 | 56.17 | 28.74 | 53.67 | 88.20 | 62.94 | 81.40 | 88.08 |
Halfway Fusion [ | 25.75 | 24.88 | 26.59 | 8.13 | 30.34 | 75.70 | 43.13 | 65.21 | 74.36 |
Fusion RPN+BN[ | 18.29 | 19.57 | 16.27 | 0.04 | 30.87 | 88.86 | 47.75 | 56.10 | 72.20 |
MSDS-RCNN[ | 11.63 | 10.60 | 13.73 | 1.29 | 16.19 | 63.73 | 29.86 | 38.71 | 63.37 |
IAF-RCNN [ | 15.73 | 14.55 | 18.26 | 0.96 | 25.54 | 77.84 | 40.17 | 48.40 | 69.76 |
CIAN[ | 14.12 | 14.77 | 11.13 | 3.71 | 19.04 | 55.82 | 30.31 | 41.57 | 62.48 |
AR-CNN[ | 9.34 | 9.94 | 8.38 | 0.00 | 16.08 | 69.00 | 31.40 | 38.63 | 55.73 |
MBNet [ | 8.13 | 8.28 | 7.86 | 0.00 | 16.07 | 55.99 | 27.74 | 35.43 | 59.14 |
本文方法 | 7.62 | 8.51 | 5.99 | 0.01 | 12.18 | 48.14 | 24.15 | 27.84 | 52.64 |
检测方法 | 漏检率/% | ||
---|---|---|---|
所有 | 白天 | 夜晚 | |
MACF[ | 69.71 | 72.63 | 65.43 |
Halfway Fusion [ | 31.99 | 36.29 | 26.29 |
Park et al[ | 26.29 | 28.67 | 23.48 |
AR-CNN [ | 22.10 | 24.70 | 18.10 |
MBNet[ | 21.10 | 24.70 | 13.50 |
本文方法 | 21.03 | 24.84 | 12.97 |
表2 CVC-14行人数据集[25]的漏检率比较
Table 2 Miss rate comparison on the CVC-14 pedestrian dataset [25]
检测方法 | 漏检率/% | ||
---|---|---|---|
所有 | 白天 | 夜晚 | |
MACF[ | 69.71 | 72.63 | 65.43 |
Halfway Fusion [ | 31.99 | 36.29 | 26.29 |
Park et al[ | 26.29 | 28.67 | 23.48 |
AR-CNN [ | 22.10 | 24.70 | 18.10 |
MBNet[ | 21.10 | 24.70 | 13.50 |
本文方法 | 21.03 | 24.84 | 12.97 |
检测方法 | 总漏检 率/% | 检测速度/ (幅·ms-1) | 硬件 平台 |
---|---|---|---|
ACF[ | 47.32 | 2730 | TITAN X |
Halfway Fusion[ | 25.75 | 430 | TITAN X |
Fusion RPN+BN[ | 18.29 | 800 | TITAN X |
MSDS-RCNN[ | 11.63 | 220 | TITAN X |
IAF-RCNN[ | 15.73 | 210 | TITAN X |
CIAN[ | 14.12 | 70 | GTX 1080Ti |
AR-CNN[ | 9.34 | 120 | GTX 1080Ti |
MBNet[ | 8.13 | 70 | GTX 1080Ti |
本文方法 | 7.62 | 70 | GTX 1080Ti |
表4 检测速度比较
Table 4 Comparison of detection speeds
检测方法 | 总漏检 率/% | 检测速度/ (幅·ms-1) | 硬件 平台 |
---|---|---|---|
ACF[ | 47.32 | 2730 | TITAN X |
Halfway Fusion[ | 25.75 | 430 | TITAN X |
Fusion RPN+BN[ | 18.29 | 800 | TITAN X |
MSDS-RCNN[ | 11.63 | 220 | TITAN X |
IAF-RCNN[ | 15.73 | 210 | TITAN X |
CIAN[ | 14.12 | 70 | GTX 1080Ti |
AR-CNN[ | 9.34 | 120 | GTX 1080Ti |
MBNet[ | 8.13 | 70 | GTX 1080Ti |
本文方法 | 7.62 | 70 | GTX 1080Ti |
骨干 网络 | 交叉注意 力特征提 取网络 | 光照感 知子 网络 | 白天 漏检 率/% | 夜晚 漏检 率/% | 总漏 检率/ % |
---|---|---|---|---|---|
13.70 | 10.76 | 12.68 | |||
ResNet50 | √ | 8.92 | 7.63 | 8.83 | |
√ | 11.24 | 9.17 | 10.14 | ||
√ | √ | 8.51 | 5.99 | 7.62 |
表5 模块有效性验证的消融实验
Table 5 Ablation study of module validation
骨干 网络 | 交叉注意 力特征提 取网络 | 光照感 知子 网络 | 白天 漏检 率/% | 夜晚 漏检 率/% | 总漏 检率/ % |
---|---|---|---|---|---|
13.70 | 10.76 | 12.68 | |||
ResNet50 | √ | 8.92 | 7.63 | 8.83 | |
√ | 11.24 | 9.17 | 10.14 | ||
√ | √ | 8.51 | 5.99 | 7.62 |
骨干网络 | 交叉注意力模块数量 | 漏检率(所有)/% |
---|---|---|
0 | 12.68 | |
1 | 10.07 | |
ResNet50 | 2 | 9.39 |
3 | 9.13 | |
4 | 8.83 | |
5 | 8.91 |
表6 交叉注意力模块数量验证的消融实验
Table 6 Ablation study of cross-attention module quantity validation
骨干网络 | 交叉注意力模块数量 | 漏检率(所有)/% |
---|---|---|
0 | 12.68 | |
1 | 10.07 | |
ResNet50 | 2 | 9.39 |
3 | 9.13 | |
4 | 8.83 | |
5 | 8.91 |
[1] |
李博, 王博, 韩京冶, 等. 基于车载计算机的红外图像移动目标检测[J]. 兵工学报, 2022, 43(增刊1): 66-73.
|
doi: 10.12382/bgxb.2022.A012 |
|
[2] |
doi: 10.1109/TCSVT.2016.2581660 URL |
[3] |
|
[4] |
doi: 10.3390/electronics11142162 URL |
[5] |
|
[6] |
|
[7] |
|
[8] |
|
[9] |
doi: 10.1016/j.patcog.2018.08.005 URL |
[10] |
|
[11] |
|
[12] |
|
[13] |
|
[14] |
|
[15] |
doi: 10.1109/TPAMI.2014.2300479 pmid: 26353336 |
[16] |
doi: 10.1016/j.inffus.2018.09.015 URL |
[17] |
|
[18] |
|
[19] |
|
[20] |
|
[21] |
|
[22] |
|
[23] |
|
[24] |
|
[25] |
doi: 10.3390/s16060820 URL |
[26] |
doi: 10.1016/j.patcog.2018.03.007 URL |
[1] | 林森,王金刚,高宏伟. 基于全局补偿注意力机制的战场图像去雾方法[J]. 兵工学报, 2024, 45(4): 1344-1353. |
[2] | 宋晓茹, 刘康, 高嵩, 陈超波, 阎坤. 复杂战场环境下改进YOLOv5军事目标识别算法研究[J]. 兵工学报, 2024, 45(3): 934-947. |
[3] | 熊佳梅, 王永振, 燕雪峰, 魏明强. 一种基于语义引导和对比学习的战场图像去烟算法[J]. 兵工学报, 2024, 45(2): 671-683. |
[4] | 田大明, 苗圃. 融合模型求解与深度学习的可见光通信非线性均衡器[J]. 兵工学报, 2024, 45(2): 466-473. |
[5] | 张堃, 杜睿怡, 时昊天, 华帅. 基于Mogrifier-BiGRU的飞行器轨迹预测[J]. 兵工学报, 2024, 45(2): 373-384. |
[6] | 杨家铭, 潘悦, 王强, 曹怀刚, 高荪培. 水下弱目标跟踪的深度学习方法研究[J]. 兵工学报, 2024, 45(2): 385-394. |
[7] | 吕卫民, 孙晨峰, 任立坤, 赵杰, 李永强. 一种基于TCN-LGBM的航空发动机气路故障诊断方法[J]. 兵工学报, 2024, 45(1): 253-263. |
[8] | 李曾琳, 李波, 白双霞, 孟波波. 基于AM-SAC的无人机自主空战决策[J]. 兵工学报, 2023, 44(9): 2849-2858. |
[9] | 秦昊林, 许廷发, 李佳男. 基于超像素注意力和孪生结构的半监督高光谱显著性目标检测[J]. 兵工学报, 2023, 44(9): 2639-2649. |
[10] | 周宇, 曹荣刚, 栗苹, 马啸. 一种用于外场试验图像的引信炸点检测方法[J]. 兵工学报, 2023, 44(8): 2453-2464. |
[11] | 吴礼洋, 呙鹏程, 刘超, 李文强. 基于注意力机制增强残差网络的雷达信号调制类型识别[J]. 兵工学报, 2023, 44(8): 2310-2318. |
[12] | 连静, 丁荣琪, 李琳辉, 王雪成, 周雅夫. 基于图模型和注意力机制的车辆轨迹预测方法[J]. 兵工学报, 2023, 44(7): 2162-2170. |
[13] | 王洋, 冯永新, 宋碧雪, 田秉禾. DP-DRCnet卷积神经网络信号调制识别算法[J]. 兵工学报, 2023, 44(2): 545-555. |
[14] | 张良安, 陈洋, 谢胜龙, 刘同鑫. 基于机器视觉与深度学习的飞机防护栅裂纹检测系统[J]. 兵工学报, 2023, 44(2): 507-516. |
[15] | 郑志伟, 管雪元, 傅健, 马训穷, 尹上. 基于卷积神经网络与长短期记忆神经网络的弹丸轨迹预测[J]. 兵工学报, 2023, 44(10): 2975-2983. |
阅读次数 | ||||||
全文 |
|
|||||
摘要 |
|
|||||