Modelo generativo de imágenes infrarrojas guiado por atención dinámica de núcleos gaussianos múltiples

ZHAO Ming ,  

ZHAO Zijie ,  

SHEN Shiqi ,  

摘要

Para abordar el problema central de los modelos tradicionales de redes adversariales generativas (GAN) en la generación de imágenes infrarrojas, que es "globalmente realistas pero con detalles locales del objetivo borrosos", se propone un modelo GAN mejorado que fusiona atención dinámica basada en núcleos gaussianos aprendibles. Los modelos mejorados tradicionales utilizan pesos fijos para la región objetivo, lo que no permite distinguir subregiones clave del objetivo, resultando en una precisión insuficiente en el ajuste de detalles del objetivo; para ello se diseñó un núcleo gaussiano múltiple adaptativo, que durante el entrenamiento aprende de forma autónoma la media μ, la varianza σ y el ángulo de rotación θ del núcleo gaussiano, generando un mapa de pesos que varía dinámicamente con la escala de grises de la máscara mask, logrando un enfoque preciso en los detalles clave del objetivo. Se incorporan los pesos de la función del núcleo gaussiano y su distribución espacial en la pérdida del generador, construyendo un objetivo de optimización de "pérdida adversarial que restringe la realidad global + pérdida L1 ponderada gaussiana guiada por máscara para restricción local + pérdida de distribución espacial de núcleos gaussianos múltiples para alineación del objetivo", otorgando al generador selectividad espacial en el gradiente y guiando la atención del modelo para ajustarse a áreas clave de alta precisión. Usando un conjunto de datos de pares de imágenes visible-infrarrojas, los resultados experimentales muestran que el modelo mejorado de núcleo gaussiano dinámico aumentó la relación señal-ruido pico y el índice de similitud estructural SSIM de las imágenes infrarrojas generadas en 3 dB y 0.06 respectivamente, compensando eficazmente las limitaciones de la estrategia de ponderación fija tradicional, y tiene un alto valor práctico en áreas de aumento de objetivos infrarrojos de muestras pequeñas y mejora de imágenes infrarrojas.

关键词

modelo pix2pix; núcleo gaussiano aprendible; ponderación dinámica; generación de imágenes infrarrojas; guía de máscara

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website