Infrared Image Generation Model Guided by Multi-Gaussian Kernel Dynamic Attention

ZHAO Ming; ZHAO Zijie; SHEN Shiqi

doi:10.12382/bgxb.2025.1064

您当前的位置：

首页 >

文章列表页 >

Infrared Image Generation Model Guided by Multi-Gaussian Kernel Dynamic Attention

更新时间：2026-09-04

- Infrared Image Generation Model Guided by Multi-Gaussian Kernel Dynamic Attention
- ACTA ARMAMENTARII Vol. 47, Issue 8, Pages: 251064(2026)
- 作者机构：
  
  南京理工大学瞬态物理全国重点实验室，江苏南京 210094
- 作者简介：
- 基金信息：
- DOI：10.12382/bgxb.2025.1064
  CLC： TP391.41
- Received：01 December 2025，
  
  Published：31 August 2026
- 稿件说明：
移动端阅览
赵明,赵子杰,沈诗淇.多高斯核动态注意力引导的红外图像生成模型[J].兵工学报,2026,47(08):251064.

ZHAO Ming,ZHAO Zijie,SHEN Shiqi.Infrared Image Generation Model Guided by Multi-Gaussian Kernel Dynamic Attention[J].ACTA ARMAMENTARII,2026,47(08):251064.
赵明,赵子杰,沈诗淇.多高斯核动态注意力引导的红外图像生成模型[J].兵工学报,2026,47(08):251064. DOI： 10.12382/bgxb.2025.1064.

ZHAO Ming,ZHAO Zijie,SHEN Shiqi.Infrared Image Generation Model Guided by Multi-Gaussian Kernel Dynamic Attention[J].ACTA ARMAMENTARII,2026,47(08):251064. DOI： 10.12382/bgxb.2025.1064.

摘要

针对传统生成对抗网络模型在红外图像生成中“全局真实但目标局部细节模糊”的核心问题，提出融合可学习高斯核动态注意力的改进生成对抗网络模型。传统改进模型对目标区域采用固定加权，无法区分目标关键子区域，导致目标细节拟合精度不足；为此设计自适应多高斯核，通过训练自主学习高斯核均值

、方差

和旋转角度

，生成随掩模mask灰度动态变化的权重图，实现目标关键细节的精准聚焦，并将高斯核函数权重和空间分布嵌入生成器损失，构建“对抗损失约束全局真实+mask引导高斯加权L1损失局部约束+多高斯核空间分布损失目标对齐”的优化目标，赋予生成器梯度空间选择性，引导模型注意力拟合高精度关键区域。以可见光-红外图像对为测试数据集进行消融实验。实验结果表明：高斯动态

核改进模型生成红外图像的峰值信噪比与结构相似性指数分别提升了3 dB和0.06，有效弥补了传统固定加权策略的局限性，在红外小样本目标增广、红外图像增强等领域具有极强的实用价值。

Abstract

to address the core issue of globally realistic yet locally blurred target details of the traditional generative adversarial network （GAN） models in infrared image generation， an improved GAN model with learnable Gaussian kernel dynamic attention is proposed. The conventional improved model adopts a fixed weighting strategy for target regions. It fails to distinguish the key sub-regions of the target， thus leading to insufficient fitting accuracy of target details. To resolve this problem， an adaptive multi-Gaussian kernel is designed， where the mean （

）， variance （

）， and rotation angle （

） of the Gaussian kernel are autonomously learned through training. This kernel generates a weight map that dynamically varies with the grayscale of the mask， enabling precise focusing on the critical details of the target. Furthermore， the weights and spatial distribution of the Gaussian kernel function are embedded into the generator loss function， and an integrated optimization objective of adversarial loss for global realism constraint， mask-guided Gaussian-weighted

L1 loss for local detail constraint， and multi-Gaussian kernel spatial distribution loss for target alignment is constructed. This design endows the generator with gradient spatial selectivity， guiding the model to focus its attention on fitting high-precision key regions. Experiments conducted on a visible‑infrared image‑pair test dataset demonstrate that the improved model with dynamic Gaussian kernels yields a 3 dB gain in peak signal‑to‑noise ratio （PSNR） and a 0.06 improvement in structural similarity index measure （SSIM） for generated infrared images. It effectively mitigates the limitations of conventional fixed‑weighting strategies and exhibits great practical value in applications including infrared small‑sample target augment

ation and infrared image enhancement.

关键词

Keywords

references

Wu Z Z ， Chen J J ， Tan L H ， et al . A lightweight GAN-based image fusion algorithm for visible and infrared images ［C］// 2024 4th International Conference on Computer Science and Blockchain （CCSB） . 2024 ： 466 - 470 .

Jiang C C ， Ren H Z ， Yang H ， et al . M2FNet： multi-modal fusion network for object detection from visible and thermal infrared images ［J］. International Journal of Applied Earth Observation and Geoinformation ， 2024 ， 130 ： 103918 .

Fernando K J P ， Lakmal H K I S ， Dissanayake M B ， et al . Enhancing perception for autonomous driving systems with dual-vision input cycle gan for night-to-day image translation ［C］// 2024 8th SLAAI International Conference on Artificial Intelligence （SLAAI-ICAI） . 2024 ： 1 - 6 .

Wang Y ， Zhang L ， Yu Q ， et al . Perception-driven infrared super-resolution via degradation-aware alternating optimization GAN ［J］. Infrared Physics & Technology ， 2025 ， 152 ： 106217 .

Rao Y J ， Wu D ， Han M N ， et al . AT-GAN： a generative adversarial network with attention and transition for infrared and visible image fusion ［J］. Information Fusion ， 2023 ， 92 ： 336 - 349 .

Chang Z H ， Feng Z X ， Yang S Y ， et al . AFT： adaptive fusion transformer for visible and infrared images ［J］. IEEE Transactions on Image Processing ， 2023 ， 32 ： 2077 - 2092 .

Hou Z Q ， Li X Y ， Yang C ， et al . Dual-branch network object detection algorithm based on dual-modality fusion of visible and infrared images ［J］. Multimedia Systems ， 2024 ， 30 （ 6 ）： 333 .

Hao R H ， Xu C ， Zhong C H ， et al . Infrared monocular depth estimation based on radiation field detail enhancement ［J］. IEEE Access ， 2025 ， 13 ： 97751 - 97764 .

Li Y ， Wang X R ， Zhang C ， et al . High-fidelity infrared remote sensing image generation method coupled with the global radiation scattering mechanism and pix2pix GAN ［J］. Remote Sensing ， 2024 ， 16 （ 23 ）： 4350 .

Raghavan K ， Balasubramanian S ， Veezhinathan K ， et al . IR-GAN： improved generative adversarial networks for infrared breast image segmentation ［J］. Quantitative Infrared Thermography Journal ， 2025 ， 22 （ 1 ）： 70 - 96 .

Hou X N ， Su L ， Guo H . Visible-to-infrared ship image generation via improved pix2pix for unmanned surface vehicles perception ［C］// 2026 IEEE International Conference on Mechatronics and Automation （ICMA） . 2026 ： 1258 - 1263 .

Li N ， Wang H N ， Zhao H J ， et al . Cross-modal visible-to-infrared image translation in remote sensing guided by thermal features ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2025 ， 63 ： 1 - 16 .

Wang Y ， Deng L B . Enhanced data augmentation for infrared images with generative adversarial networks aided by pretrained models ［J］. IEEE Access ， 2024 ， 12 ： 176739 - 176750 .

章洋洋，康家银，马寒雁，等 . 基于Mamba赋能的三支路生成对抗网络的红外与可见光图像融合［J］. 兵工学报， 2025 ， 46 （ 11 ）： 250077 .

Zhang Y Y ， Kang J Y ， Ma H Y ， et al . Infrared and visible image fusion based on mamba-empowered triple-branch generative adversarial network ［J］. Acta Armamentarii ， 2025 ， 46 （ 11 ）： 250077 . （in Chinese）

武凌霄，康家银，姬云翔，等 . 基于多判别器双流生成对抗网络的红外与可见光图像融合［J］. 兵工学报， 2024 ， 45 （ 6 ）： 1799 - 1812 .

Wu L X ， Kang J Y ， Ji Y X ， et al . Infrared and visible image fusion using dual-stream generative adversarial network with multiple discriminators ［J］. Acta Armamentarii ， 2024 ， 45 （ 6 ）： 1799 - 1812 . （in Chinese）

Lee M H ， Go Y H ， Lee S H ， et al . Low-light image enhancement using CycleGAN-based near-infrared image generation and fusion ［J］. Mathematics ， 2024 ， 12 （ 24 ）： 4028 .

袁泉，陈宇，刘鹰 . 低空巡检中基于风格迁移的红外图像仿真方法［J］. 航天控制， 2025 ， 43 （ 4 ）： 63 - 70 .

Yuan Q ， Chen Y ， Liu Y . Infrared image simulation method based on style transfer for low-altitude inspection ［J］. Aerospace Control ， 2025 ， 43 （ 4 ）： 63 - 70 . （in Chinese）

Polowczyk A ， Polowczyk A ， Wiltos K ， et al . Segmentation for retinal blood vessels using channel attention U-net and pix2pix ［C］// 2025 IEEE Symposium on Computational Intelligence in Health and Medicine Companion（CIHM Companion） . 2025 ： 1 - 5 .

Ma J B ， Cao H W ， Song X ， et al . Infrared and visible image fusion using GAN with dual-branch feature decomposition and dual Markovian discriminators ［C］// 2025 4th International Conference on Artificial Intelligence， Internet of Things and Cloud Computing Technology（AIoTC） . 2025 ： 74 - 78 .

Ren W C ， Li L F ， Wen S Y ， et al . APE-GAN： a colorization method for focal areas of infrared images guided by an improved attention mask mechanism ［J］. Computers & Graphics ， 2024 ， 124 ： 104086 .

Yang X S ， Liu H T ， Li H ， et al . SAVI-GAN： an self-attention method GAN using pix2pix for visible to infrared image translation ［C］// International Conference on Man-Machine-Environment System Engineering . 2025 ： 182 - 188 .

Zhang W T ， Huang P Q ， Li M Y ， et al . Enhanced pix2pix visible-to-infrared image generation network ［C］// 2024 4th International Conference on Robotics， Automation and Intelligent Control（ICRAIC） . 2024 ： 427 - 432 .

高祺明，姚斌，王梅嘉 . 基于类激活多尺度注意力的红外图像和可见光图像融合的生成对抗网络［J］. 软件工程， 2025 ， 28 （ 7 ）： 57 - 63 .

Gao Q M ， Yao B ， Wang M J . Generative adversarial network for infrared and visible image fusion based on class activated multi-scale attention ［J］. Software Engineering ， 2025 ， 28 （ 7 ）： 57 - 63 . （in Chinese）

潘李琳，邵剑飞 . 融合图注意力的多分辨率点云补全［J］. 激光技术， 2023 ， 47 （ 5 ）： 700 - 707 .

Pan L L ， Shao J F . Multi-resolution point cloud completion fusing graph attention ［J］. Laser Technology ， 2023 ， 47 （ 5 ）： 700 - 707 . （in Chinese）

林珊玲，陈燕，张雪，等 . 结合色彩校正和结构信息的双路低光照图像增强［J］. 光电工程， 2024 ， 51 （ 9 ）： 240142 .

Lin S L ， Chen Y ， Zhang X ， et al . Dual low-light images combining color correction and structural information enhance ［J］. Opto-Electronic Engineering ， 2024 ， 51 （ 9 ）： 240142 . （in Chinese）

常天庆，张杰，赵立阳，等 . 基于可见光与红外图像融合的装甲目标检测算法［J］. 兵工学报， 2024 ， 45 （ 7 ）： 2085 - 2096 .

Chang T Q ， Zhang J ， Zhao L Y ， et al . Research on armored vehicle detection algorithm based on visible and infrared image fusion ［J］. Acta Armamentarii ， 2024 ， 45 （ 7 ）： 2085 - 2096 . （in Chinese）

Özkanoğlu M A ， Ozer S . InfraGAN： a GAN architecture to transfer visible images to infrared domain ［J］. Pattern Recognition Letters ， 2022 ， 155 ： 69 - 76 .

Pipanmekaporn L ， Kamonsantiroj S ， Srisomboon K ， et al . Adaptive loss balancing enhanced pix2pix GAN for robust object removals in street-view imagery ［C］// International Conference on Innovative Mobile and Internet Services in Ubiquitous Computing . 2025 ： 26 - 39 .

Li Z ， Guan B ， Wei Y ， et al . Mapping new realities： ground truth image creation with pix2pix image-to-image translation ［PP/OL］. arXiv （ 2024-05-01 ）［ 2025-10-10 ］. https：//doi.org/10.48550/arXiv.2404.19265 https://doi.org/10.48550/arXiv.2404.19265 .

Akagic A ， Buza E ， Horvat M ， et al . Mapping RGB-to-NIR with pix2pix image-to-image translation for fire detection applications ［C］// 34th Central European Conference on Information and Intelligent Systems . 2023 ， 9 .

Ma Y Y ， Hua Y L ， Zuo Z R ， et al . Infrared image generation by pix2pix based on multi-receptive field feature fusion ［C］// 2021 International Conference on Control， Automation and Information Sciences（ICCAIS） . 2021 ： 1029 - 1036 .

Vadisetty R ， Polamaresetti A ， Sufiyan M . Generative AI：a pix2pix-GAN-based machine learning approach for robust and efficient lung segmentation ［C］// 2024 Asian Conference on Intelligent Technologies （ACOIT） . 2024 ： 1 - 6 .

Views

下载量

CNKI被引量

Alert me when the article has been cited

提交

Tools

Publicity Resources

Design and Strength Assessment Method of Docking Interfaces in Modular Vehicles

Research on Surface Quality Diagnosis of Magnesium Alloy Deposited Layers in CMT Wire-arc Additive Manufacturing Process Based on SSA-LSTM Network

Computational Fusion Method for Real-time 3D Reconstruction of Weld Pool

Microstructure Evolution and Formation Mechanism of Adiabatic Shear Bands in Maraging Steel fabricated by Wire Arc Additive Manufacturing

An Integrated Semi-active Torsional Vibration Damping Technology for Special Vehicles

Related Author

ZHAO Ming

ZHAO Zijie

SHEN Shiqi

Related Institution

National Key Laboratory of Transient Physics, Nanjing University of Science and Technology

Postal code：100089
Tel：010-68963060/68962718 Fax：010-68963025 Email：bgxb@cos.org.cn
Technical support is provided by Beijing Founder electronics co., LTD 京ICP备05059581号-4 京公网安备11010802024360号
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.
Total Visits：275625 Visits Today：371 Online Users：9

⁰