Modèle de génération d'images infrarouges guidé par attention dynamique à noyaux Gaussiens multiples

ZHAO Ming ,  

ZHAO Zijie ,  

SHEN Shiqi ,  

摘要

Pour résoudre le problème central des modèles traditionnels de réseaux antagonistes génératifs (GAN) dans la génération d'images infrarouges, à savoir "globalement réalistes mais avec des détails locaux de la cible flous", nous proposons un modèle GAN amélioré intégrant une attention dynamique de noyau Gaussien apprenable. Les modèles améliorés traditionnels utilisent un poids fixe pour la zone cible, ce qui ne permet pas de distinguer les sous-régions clés de la cible, entraînant une précision insuffisante dans l'ajustement des détails de la cible ; ainsi, un noyau Gaussien multiple adaptatif a été conçu, permettant d'apprendre de manière autonome pendant l'entraînement la moyenne μ, la variance σ et l'angle de rotation θ du noyau Gaussien, générant une carte de poids qui évolue dynamiquement avec la luminosité du masque, réalisant une focalisation précise sur les détails clés de la cible. Les poids et la distribution spatiale du noyau Gaussien sont intégrés dans la fonction de perte du générateur, construisant un objectif d'optimisation de type « perte antagoniste contraignant la réalité globale + perte L1 pondérée par Gaussien guidée par masque pour la contrainte locale + perte de distribution spatiale de noyaux Gaussien multiples pour l'alignement cible », conférant au générateur une sélectivité spatiale du gradient et guidant l'attention du modèle à ajuster précisément les zones clés de haute précision. Utilisant un jeu de données de paires images visible-infrarouge, les résultats expérimentaux montrent que le modèle amélioré à noyau dynamique Gaussien augmente le rapport signal sur bruit de crête et l'indice de similarité structurelle SSIM des images infrarouges générées respectivement de 3 dB et 0,06, compensant efficacement les limites des stratégies traditionnelles à poids fixe, avec une forte valeur pratique dans les domaines d’augmentation des cibles infrarouges à petits échantillons et d’amélioration d'images infrarouges.

关键词

modèle pix2pix ; noyau Gaussien apprenable ; pondération dynamique ; génération d'images infrarouges ; guidage par masque

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website