Modelo de geração de imagens infravermelhas guiado por atenção dinâmica de núcleo gaussiano múltiplo

ZHAO Ming ,  

ZHAO Zijie ,  

SHEN Shiqi ,  

摘要

Para abordar o problema central dos modelos tradicionais de redes adversariais generativas (GAN) na geração de imagens infravermelhas, que apresentam "realismo global, mas detalhes locais do alvo borrados", propõe-se um modelo GAN aprimorado que integra atenção dinâmica baseada em núcleo gaussiano aprendível. Os modelos tradicionais aprimorados aplicam ponderação fixa na região-alvo, não conseguindo diferenciar sub-regiões-chave do alvo, resultando em precisão insuficiente na adaptação dos detalhes do alvo; para isso, foi projetado um núcleo gaussiano múltiplo adaptativo, que durante o treinamento aprende autonomamente a média μ, a variância σ e o ângulo de rotação θ do núcleo gaussiano, gerando um mapa de pesos que varia dinamicamente com a escala de cinza da máscara mask, possibilitando foco preciso nos detalhes-chave do alvo. Os pesos da função do núcleo gaussiano e sua distribuição espacial são incorporados na perda do gerador, constituindo um objetivo de otimização com "perda adversarial para restringir o realismo global + perda L1 ponderada por gaussiano guiada por máscara para restrição local + perda de distribuição espacial de vários núcleos gaussianos para alinhamento do alvo", conferindo ao gerador seletividade espacial no gradiente e guiando a atenção do modelo para adaptar áreas-chave de alta precisão. Usando um conjunto de dados de pares de imagens visível-infravermelho, os resultados experimentais mostram que o modelo aprimorado com núcleo gaussiano dinâmico aumentou a relação sinal-ruído de pico e o índice de similaridade estrutural (SSIM) das imagens infravermelhas geradas em 3 dB e 0,06 respectivamente, compensando efetivamente as limitações da estratégia tradicional de ponderação fixa, e possui alto valor prático em campos como aumento de alvos infravermelhos de pequenas amostras e aprimoramento de imagens infravermelhas.

关键词

modelo pix2pix; núcleo gaussiano aprendível; ponderação dinâmica; geração de imagens infravermelhas; orientação por máscara

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website