兵工学报 ›› 2024, Vol. 45 ›› Issue (4): 1273-1284.doi: 10.12382/bgxb.2022.0945
收稿日期:
2022-10-21
上线日期:
2024-04-30
通讯作者:
基金资助:
ZHAO Xiaoqiang1,2,3,*(), CHENG Wei1
Received:
2022-10-21
Online:
2024-04-30
摘要:
近几年,深度学习技术显著提高了单幅图像超分辨率重建(Single Image Super-resolution Reconstruction,SISR)的性能,但基于深度学习技术的SISR算法存在模型参数量大、网络结构复杂、资源消耗多等问题。为解决这些问题,提出一种基于空间特征交叉融合的轻量级图像超分辨率重建算法,该算法使用多个局部特征融合模块和特征交叉增强模块组成非线性映射单元,通过残差学习逐步聚合图像特征,提取更加精准的残差信息。同时采用对称结构将特征映射到两个分支,通过执行特征交叉,对应元素相乘提取高频成分,细化特征,增加网络非线性。在每个特征交叉增强模块中使用异构卷积代替标准卷积拆分和融合两条分支,有效地降低网络的参数量,使网络在参数量和性能之间达到相对平衡。通过一个多级集成模块增强不同阶段特征的相关性。在基准数据集上的实验结果表明,新的重建算法在降低模型参数量的同时,峰值信噪比和结构相似度均取得了较好的结果,而且重建图像的边缘结构完整,整体轮廓清晰,细节更加丰富。
中图分类号:
赵小强, 程伟. 基于空间特征交叉融合的轻量级图像超分辨率重建[J]. 兵工学报, 2024, 45(4): 1273-1284.
ZHAO Xiaoqiang, CHENG Wei. Lightweight Image Super-resolution Reconstruction Based on Cross-fusion of Spatial Features[J]. Acta Armamentarii, 2024, 45(4): 1273-1284.
模块 | 卷积尺寸 | 输入尺寸 | 输出尺寸 |
---|---|---|---|
SFE模块 | 3×3 | H×W×3 | H×W×64 |
LFF模块 | 3×3 | H×W×64 | H×W×64 |
FCE模块 | 3×3、1×1 | H×W×64 | H×W×64 |
重建模块 | 3×3 | H×W×64 | sH×sW×3 |
表1 网络模块的参数设置
Table 1 Parameter settings of network module
模块 | 卷积尺寸 | 输入尺寸 | 输出尺寸 |
---|---|---|---|
SFE模块 | 3×3 | H×W×3 | H×W×64 |
LFF模块 | 3×3 | H×W×64 | H×W×64 |
FCE模块 | 3×3、1×1 | H×W×64 | H×W×64 |
重建模块 | 3×3 | H×W×64 | sH×sW×3 |
模块 | 比例因子 | 参数量/K | PSNR | SSIM |
---|---|---|---|---|
SFFSR模块 | 2 | 1016 | 37.90 | 0.9601 |
4 | 1037 | 32.07 | 0.8942 | |
SFFSR-S模块 | 2 | 1081 | 37.91 | 0.9602 |
4 | 1101 | 32.09 | 0.8944 | |
SFFSR-N模块 | 2 | 1016 | 37.87 | 0.9600 |
4 | 1037 | 32.05 | 0.8938 | |
SFFSR-D-64模块 | 2 | 1459 | 37.92 | 0.9604 |
4 | 1479 | 32.08 | 0.8943 |
表2 Set5数据集测试PSNR值和SSIM值
Table 2 PSNRs and SSIMs of SR images tested on Set5 dataset
模块 | 比例因子 | 参数量/K | PSNR | SSIM |
---|---|---|---|---|
SFFSR模块 | 2 | 1016 | 37.90 | 0.9601 |
4 | 1037 | 32.07 | 0.8942 | |
SFFSR-S模块 | 2 | 1081 | 37.91 | 0.9602 |
4 | 1101 | 32.09 | 0.8944 | |
SFFSR-N模块 | 2 | 1016 | 37.87 | 0.9600 |
4 | 1037 | 32.05 | 0.8938 | |
SFFSR-D-64模块 | 2 | 1459 | 37.92 | 0.9604 |
4 | 1479 | 32.08 | 0.8943 |
比例 因子 | 算法 | 参数量/ K | 乘加运算/ G | Set5数据集 | Set14数据集 | BSD100数据集 | Urban100数据集 | ||||
---|---|---|---|---|---|---|---|---|---|---|---|
PSNR/dB | SSIM | PSNR/dB | SSIM | PSNR/dB | SSIM | PSNR/dB | SSIM | ||||
bicubic | 33.66 | 0.9299 | 30.24 | 0.8688 | 29.56 | 0.8431 | 26.88 | 0.8403 | |||
SRCNN | 57 | 52.7 | 36.66 | 0.9542 | 32.45 | 0.9670 | 31.36 | 0.8879 | 29.50 | 0.8946 | |
VDSR | 667 | 612.6 | 37.53 | 0.9590 | 33.05 | 0.9130 | 31.90 | 0.8960 | 30.77 | 0.9140 | |
DRCN | 1774 | 17974.3 | 37.63 | 0.9588 | 33.04 | 0.9118 | 31.85 | 0.8942 | 30.75 | 0.9133 | |
LapSRN | 813 | 149.4 | 37.52 | 0.9591 | 33.08 | 0.9130 | 31.08 | 0.8950 | 30.41 | 0.9101 | |
MemNet | 678 | 2662.4 | 37.78 | 0.9597 | 33.28 | 0.9142 | 32.08 | 0.8978 | 31.31 | 0.9195 | |
2 | IDN | 553 | 180.9 | 37.83 | 0.9600 | 33.30 | 0.9148 | 32.08 | 0.8985 | 31.27 | 0.9196 |
EDSR-baseline | 1373 | 316.3 | 37.99 | 0.9604 | 33.57 | 0.9175 | 32.16 | 0.8994 | 31.98 | 0.9272 | |
SUSR | 37.83 | 0.9591 | 33.62 | 0.9172 | 32.15 | 0.8992 | 32.19 | 0.9290 | |||
CARN | 1592 | 222.8 | 37.76 | 0.9590 | 33.52 | 0.9166 | 32.09 | 0.8978 | 31.92 | 0.9256 | |
IMDN | 694 | 187.4 | 38.00 | 0.9605 | 33.63 | 0.9177 | 32.19 | 0.8996 | 32.17 | 0.9283 | |
PAN | 270 | 28.2 | 38.00 | 0.9605 | 33.59 | 0.9181 | 32.15 | 0.8997 | 32.01 | 0.9273 | |
LCRCA | 813 | 186.0 | 38.05 | 0.9607 | 33.65 | 0.9181 | 32.17 | 0.8994 | 32.19 | 0.9285 | |
SFFSR | 1016 | 194.1 | 38.09 | 0.9608 | 33.70 | 0.9181 | 32.19 | 0.8998 | 32.20 | 0.9285 | |
bicubic | 30.39 | 0.8682 | 27.55 | 0.7742 | 27.21 | 0.7385 | 24.46 | 0.7349 | |||
SRCNN | 57 | 52.7 | 32.75 | 0.9090 | 29.28 | 0.8209 | 28.41 | 0.7863 | 26.24 | 0.7989 | |
VDSR | 667 | 612.6 | 30.98 | 0.9212 | 29.77 | 0.8314 | 28.82 | 0.7976 | 27.14 | 0.8279 | |
DRCN | 1774 | 17974.3 | 33.82 | 0.9226 | 29.76 | 0.8311 | 28.80 | 0.7963 | 27.15 | 0.8276 | |
LapSRN | 813 | 149.3 | 33.16 | 0.9140 | 29.43 | 0.8242 | 28.53 | 0.7910 | 26.43 | 0.8080 | |
MemNet | 677 | 1662.4 | 34.09 | 0.9248 | 30.00 | 0.8350 | 28.96 | 0.8001 | 27.56 | 0.8376 | |
3 | IDN | 794 | 81.3 | 34.11 | 0.9253 | 29.99 | 0.8354 | 28.95 | 0.8013 | 27.42 | 0.8359 |
EDSR-baseline | 1566 | 160.3 | 34.37 | 0.9270 | 30.28 | 0.8417 | 39.09 | 0.8052 | 28.15 | 0.8527 | |
SUSR | 34.25 | 0.9260 | 30.28 | 0.8410 | 29.04 | 0.8050 | 28.05 | 0.8501 | |||
CARN | 1592 | 118.8 | 34.29 | 0.9255 | 30.29 | 0.8407 | 29.06 | 0.8034 | 28.06 | 0.8493 | |
IMDN | 703 | 84.2 | 34.36 | 0.9270 | 30.32 | 0.8417 | 29.09 | 0.8046 | 28.17 | 0.8519 | |
PAN | 261 | 28.2 | 34.40 | 0.9271 | 30.36 | 0.8423 | 29.11 | 0.8050 | 28.11 | 0.8511 | |
LCRCA | 822 | 83.6 | 34.40 | 0.9269 | 30.36 | 0.8492 | 29.09 | 0.8049 | 28.21 | 0.8532 | |
SFFSR | 1024 | 87.2 | 34.44 | 0.9298 | 30.51 | 0.8485 | 29.18 | 0.8056 | 28.31 | 0.8561 | |
bicubic | 28.42 | 0.8104 | 26.00 | 0.7027 | 25.96 | 0.6675 | 23.14 | 0.6577 | |||
SRCNN | 57 | 52.7 | 30.48 | 0.8628 | 27.49 | 0.7503 | 26.90 | 0.7101 | 24.52 | 0.7221 | |
VDSR | 667 | 612.6 | 31.35 | 0.8838 | 28.01 | 0.7674 | 27.29 | 0.7251 | 25.18 | 0.7524 | |
DRCN | 1774 | 17974.3 | 31.53 | 0.8854 | 28.02 | 0.7670 | 27.23 | 0.7233 | 25.14 | 0.7510 | |
LapSRN | 813 | 149.3 | 31.54 | 0.8850 | 28.19 | 0.7720 | 27.32 | 0.7280 | 25.21 | 0.7560 | |
MemNet | 677 | 2662.4 | 31.74 | 0.8893 | 28.26 | 0.7723 | 27.40 | 0.7281 | 25.50 | 0.7630 | |
4 | IDN | 806 | 46.4 | 31.82 | 0.8903 | 28.25 | 0.7730 | 27.41 | 0.7297 | 25.41 | 0.7632 |
EDSR-baseline | 1541 | 88.8 | 32.09 | 0.8938 | 28.58 | 0.7813 | 27.57 | 0.7357 | 26.04 | 0.7849 | |
SUSR | 32.05 | 0.8931 | 28.57 | 0.7811 | 27.55 | 0.7510 | 26.01 | 0.782 | |||
CARN | 1592 | 90.9 | 32.13 | 0.8937 | 28.60 | 0.7806 | 27.58 | 0.7349 | 26.07 | 0.7837 | |
IMDN | 715 | 48.1 | 32.21 | 0.8948 | 28.58 | 0.7811 | 27.56 | 0.7353 | 26.04 | 0.7837 | |
PAN | 272 | 28.2 | 32.13 | 0.8948 | 28.61 | 0.7822 | 27.59 | 0.7363 | 26.11 | 0.7854 | |
LCRCA | 834 | 47.7 | 32.20 | 0.8963 | 28.68 | 0.7822 | 27.57 | 0.7357 | 26.10 | 0.7851 | |
SFFSR | 1037 | 49.7 | 32.24 | 0.8966 | 28.69 | 0.7837 | 27.60 | 0.7360 | 26.11 | 0.7855 |
表3 不同算法在4种基准数据集上的PSNR和SSIM值比较
Table 3 Comparison of PSNR and SSIM values of different algorithms on four benchmark datasets
比例 因子 | 算法 | 参数量/ K | 乘加运算/ G | Set5数据集 | Set14数据集 | BSD100数据集 | Urban100数据集 | ||||
---|---|---|---|---|---|---|---|---|---|---|---|
PSNR/dB | SSIM | PSNR/dB | SSIM | PSNR/dB | SSIM | PSNR/dB | SSIM | ||||
bicubic | 33.66 | 0.9299 | 30.24 | 0.8688 | 29.56 | 0.8431 | 26.88 | 0.8403 | |||
SRCNN | 57 | 52.7 | 36.66 | 0.9542 | 32.45 | 0.9670 | 31.36 | 0.8879 | 29.50 | 0.8946 | |
VDSR | 667 | 612.6 | 37.53 | 0.9590 | 33.05 | 0.9130 | 31.90 | 0.8960 | 30.77 | 0.9140 | |
DRCN | 1774 | 17974.3 | 37.63 | 0.9588 | 33.04 | 0.9118 | 31.85 | 0.8942 | 30.75 | 0.9133 | |
LapSRN | 813 | 149.4 | 37.52 | 0.9591 | 33.08 | 0.9130 | 31.08 | 0.8950 | 30.41 | 0.9101 | |
MemNet | 678 | 2662.4 | 37.78 | 0.9597 | 33.28 | 0.9142 | 32.08 | 0.8978 | 31.31 | 0.9195 | |
2 | IDN | 553 | 180.9 | 37.83 | 0.9600 | 33.30 | 0.9148 | 32.08 | 0.8985 | 31.27 | 0.9196 |
EDSR-baseline | 1373 | 316.3 | 37.99 | 0.9604 | 33.57 | 0.9175 | 32.16 | 0.8994 | 31.98 | 0.9272 | |
SUSR | 37.83 | 0.9591 | 33.62 | 0.9172 | 32.15 | 0.8992 | 32.19 | 0.9290 | |||
CARN | 1592 | 222.8 | 37.76 | 0.9590 | 33.52 | 0.9166 | 32.09 | 0.8978 | 31.92 | 0.9256 | |
IMDN | 694 | 187.4 | 38.00 | 0.9605 | 33.63 | 0.9177 | 32.19 | 0.8996 | 32.17 | 0.9283 | |
PAN | 270 | 28.2 | 38.00 | 0.9605 | 33.59 | 0.9181 | 32.15 | 0.8997 | 32.01 | 0.9273 | |
LCRCA | 813 | 186.0 | 38.05 | 0.9607 | 33.65 | 0.9181 | 32.17 | 0.8994 | 32.19 | 0.9285 | |
SFFSR | 1016 | 194.1 | 38.09 | 0.9608 | 33.70 | 0.9181 | 32.19 | 0.8998 | 32.20 | 0.9285 | |
bicubic | 30.39 | 0.8682 | 27.55 | 0.7742 | 27.21 | 0.7385 | 24.46 | 0.7349 | |||
SRCNN | 57 | 52.7 | 32.75 | 0.9090 | 29.28 | 0.8209 | 28.41 | 0.7863 | 26.24 | 0.7989 | |
VDSR | 667 | 612.6 | 30.98 | 0.9212 | 29.77 | 0.8314 | 28.82 | 0.7976 | 27.14 | 0.8279 | |
DRCN | 1774 | 17974.3 | 33.82 | 0.9226 | 29.76 | 0.8311 | 28.80 | 0.7963 | 27.15 | 0.8276 | |
LapSRN | 813 | 149.3 | 33.16 | 0.9140 | 29.43 | 0.8242 | 28.53 | 0.7910 | 26.43 | 0.8080 | |
MemNet | 677 | 1662.4 | 34.09 | 0.9248 | 30.00 | 0.8350 | 28.96 | 0.8001 | 27.56 | 0.8376 | |
3 | IDN | 794 | 81.3 | 34.11 | 0.9253 | 29.99 | 0.8354 | 28.95 | 0.8013 | 27.42 | 0.8359 |
EDSR-baseline | 1566 | 160.3 | 34.37 | 0.9270 | 30.28 | 0.8417 | 39.09 | 0.8052 | 28.15 | 0.8527 | |
SUSR | 34.25 | 0.9260 | 30.28 | 0.8410 | 29.04 | 0.8050 | 28.05 | 0.8501 | |||
CARN | 1592 | 118.8 | 34.29 | 0.9255 | 30.29 | 0.8407 | 29.06 | 0.8034 | 28.06 | 0.8493 | |
IMDN | 703 | 84.2 | 34.36 | 0.9270 | 30.32 | 0.8417 | 29.09 | 0.8046 | 28.17 | 0.8519 | |
PAN | 261 | 28.2 | 34.40 | 0.9271 | 30.36 | 0.8423 | 29.11 | 0.8050 | 28.11 | 0.8511 | |
LCRCA | 822 | 83.6 | 34.40 | 0.9269 | 30.36 | 0.8492 | 29.09 | 0.8049 | 28.21 | 0.8532 | |
SFFSR | 1024 | 87.2 | 34.44 | 0.9298 | 30.51 | 0.8485 | 29.18 | 0.8056 | 28.31 | 0.8561 | |
bicubic | 28.42 | 0.8104 | 26.00 | 0.7027 | 25.96 | 0.6675 | 23.14 | 0.6577 | |||
SRCNN | 57 | 52.7 | 30.48 | 0.8628 | 27.49 | 0.7503 | 26.90 | 0.7101 | 24.52 | 0.7221 | |
VDSR | 667 | 612.6 | 31.35 | 0.8838 | 28.01 | 0.7674 | 27.29 | 0.7251 | 25.18 | 0.7524 | |
DRCN | 1774 | 17974.3 | 31.53 | 0.8854 | 28.02 | 0.7670 | 27.23 | 0.7233 | 25.14 | 0.7510 | |
LapSRN | 813 | 149.3 | 31.54 | 0.8850 | 28.19 | 0.7720 | 27.32 | 0.7280 | 25.21 | 0.7560 | |
MemNet | 677 | 2662.4 | 31.74 | 0.8893 | 28.26 | 0.7723 | 27.40 | 0.7281 | 25.50 | 0.7630 | |
4 | IDN | 806 | 46.4 | 31.82 | 0.8903 | 28.25 | 0.7730 | 27.41 | 0.7297 | 25.41 | 0.7632 |
EDSR-baseline | 1541 | 88.8 | 32.09 | 0.8938 | 28.58 | 0.7813 | 27.57 | 0.7357 | 26.04 | 0.7849 | |
SUSR | 32.05 | 0.8931 | 28.57 | 0.7811 | 27.55 | 0.7510 | 26.01 | 0.782 | |||
CARN | 1592 | 90.9 | 32.13 | 0.8937 | 28.60 | 0.7806 | 27.58 | 0.7349 | 26.07 | 0.7837 | |
IMDN | 715 | 48.1 | 32.21 | 0.8948 | 28.58 | 0.7811 | 27.56 | 0.7353 | 26.04 | 0.7837 | |
PAN | 272 | 28.2 | 32.13 | 0.8948 | 28.61 | 0.7822 | 27.59 | 0.7363 | 26.11 | 0.7854 | |
LCRCA | 834 | 47.7 | 32.20 | 0.8963 | 28.68 | 0.7822 | 27.57 | 0.7357 | 26.10 | 0.7851 | |
SFFSR | 1037 | 49.7 | 32.24 | 0.8966 | 28.69 | 0.7837 | 27.60 | 0.7360 | 26.11 | 0.7855 |
[1] |
|
[2] |
doi: 10.1038/s41746-020-00376-2 pmid: 33420381 |
[3] |
doi: 10.1186/s40537-021-00414-0 pmid: 33552840 |
[4] |
谌贵辉, 陈伍, 李忠兵. 残差卷积注意网络的图像超分辨率重建[J]. 计算机工程与应用, 2021, 57(12):193-200.
doi: 10.3778/j.issn.1002-8331.2003-0376 |
doi: 10.3778/j.issn.1002-8331.2003-0376 |
|
[5] |
李祥霞, 谢娴, 李彬, 等. 生成对抗网络在医学图像处理中的应用[J]. 计算机工程与应用, 2021, 57(18):24-37.
doi: 10.3778/j.issn.1002-8331.2104-0176 |
doi: 10.3778/j.issn.1002-8331.2104-0176 |
|
[6] |
刘丛, 王亚新. 基于双并行残差网络的遥感图像超分辨率重建[J]. 模式识别与人工智能, 2021, 34(8):760-767.
doi: 10.16451/j.cnki.issn1003-6059.202108009 |
doi: 10.16451/j.cnki.issn1003-6059.202108009 |
|
[7] |
潘德伦, 冀隽, 张跃进. 基于运动矢量空间编码的视频监控动态目标检测方法[J]. 吉林大学学报 (工学版), 2021, 51(4): 1370-1374.
|
|
|
[8] |
周岳斌, 杨沫, 曹煜晖. 无线视频监控系统人脸跟踪功能的实现[J]. 机械与电子, 2021, 39(6): 35-38.
|
|
|
[9] |
马彦恒, 侯建强. 机动合成孔径雷达成像研究现状与发展趋势[J]. 兵器装备工程学报, 2019, 40(11): 111-115.
|
|
|
[10] |
|
[11] |
黄鹏, 郑淇, 梁超. 图像分割方法综述[J]. 武汉大学学报 (理学版), 2020, 66(6): 519-531.
|
|
|
[12] |
孙瑜阳. 深度学习及其在图像分类识别中的研究综述[J]. 信息技术与信息化, 2018 (1): 138-140.
|
|
|
[13] |
罗会兰, 陈鸿坤. 基于深度学习的目标检测研究综述[J]. 电子学报, 2020, 48(6): 1230-1239.
doi: 10.3969/j.issn.0372-2112.2020.06.026 |
|
|
[14] |
|
[15] |
|
[16] |
|
[17] |
|
[18] |
|
[19] |
|
[20] |
|
[21] |
|
[22] |
程德强, 郭昕, 陈亮亮, 等. 多通道递归残差网络的图像超分辨率重建[J]. 中国图象图形学报, 2021, 26(3): 605-618.
|
|
|
[23] |
|
[24] |
|
[25] |
|
[26] |
|
[27] |
|
[28] |
陈一鸣, 周登文. 基于自适应级联的注意力网络的超分辨率重建[J]. 自动化学报, 2022, 48(8): 1950-1960.
|
|
|
[29] |
|
[30] |
|
[31] |
|
[32] |
|
[33] |
|
[34] |
|
[35] |
|
[36] |
|
[1] | 袁名正, 潘腾, 卞晓兵, 杨磊, 周宏元, 黄广炎, 张宏. 曲面型纤维复材防护掩体在爆炸冲击波下的响应特性[J]. 兵工学报, 2023, 44(12): 3909-3920. |
[2] | 曹昊哲, 刘全攀. 基于半直接法的无人集群协同视觉SLAM算法[J]. 兵工学报, 2023, 44(11): 3345-3358. |
[3] | 李作轩, 贾良跃, 郝佳, 王超, 王国新, 明振军, 阎艳. 基于多工况关联的无人车辆车身结构轻量化优化设计[J]. 兵工学报, 2023, 44(11): 3529-3542. |
[4] | 崔令飞, 郭永红, 修全发, 史超, 张硕阳. 基于国产嵌入式智能计算平台的无人机检测方法[J]. 兵工学报, 2022, 43(S1): 146-154. |
[5] | 孙磊, 金东东, 纪春恒, 裴崇雷, 安鸿波. 基于抛物线包络反演的距离选通三维成像方法[J]. 兵工学报, 2022, 43(8): 1868-1873. |
[6] | 严继伟, 苏娟, 李义红. 基于[KG-*9]Ghost卷积与注意力机制的SAR图像建筑物检测算法[J]. 兵工学报, 2022, 43(7): 1667-1675. |
[7] | 李静, 刘哲, 黄文准. 基于快速非局部均值和超分辨率重建的图像降噪算法[J]. 兵工学报, 2021, 42(8): 1716-1727. |
[8] | 马月红, 孔梦瑶. 基于改进快速区域卷积网络的目标检测轻量化算法[J]. 兵工学报, 2021, 42(12): 2664-2674. |
[9] | 梁杰, 任君, 李磊, 齐航, 周红丽. 基于典型几何形状精确回归的机场跑道检测方法[J]. 兵工学报, 2020, 41(10): 2045-2054. |
[10] | 温晶晶, 吴斌, 刘承骛. 导弹整体式翼面骨架结构的拓扑优化设计[J]. 兵工学报, 2017, 38(1): 81-88. |
阅读次数 | ||||||
全文 |
|
|||||
摘要 |
|
|||||