Для решения основной проблемы традиционных моделей генеративных состязательных сетей (GAN) при генерации инфракрасных изображений — «глобальная реалистичность, но размытые локальные детали объекта» — предлагается улучшенная модель GAN с интегрированным динамическим вниманием на основе обучаемого гауссовского ядра. Традиционные улучшенные модели используют фиксированное взвешивание для области объекта, что не позволяет выделять ключевые субобласти объекта, что приводит к недостаточной точности приближения деталей объекта; для этого была разработана адаптивная мульти-гауссовская ядро, позволяющая при обучении самостоятельно изучать среднее ядра μ, дисперсию σ и угол вращения θ, создавая карту весов, динамически изменяющуюся в зависимости от оттенков маски mask, обеспечивая точную фокусировку на ключевых деталях объекта, а также вкладывая веса гауссовских функций и их пространственное распределение в функцию потерь генератора, формируя оптимизационную цель с «состязательной потерей, ограничивающей глобальную реалистичность + L1-потерей с гауссовым взвешиванием под руководством маски для локальных ограничений + потерей пространственного распределения мульти-гауссовских ядер для выравнивания объекта», что обеспечивает генератору избирательность в пространстве градиента и направляет внимание модели на аппроксимацию высокоточных ключевых областей. Используя набор данных пар видимых и инфракрасных изображений, экспериментальные результаты показали, что улучшенная модель с динамическими гауссовскими ядрами повысила пиковое отношение сигнал-шум и структурный индекс сходства SSIM генерируемых инфракрасных изображений соответственно на 3 дБ и 0,06, эффективно компенсируя ограничения традиционной стратегии фиксированного взвешивания и обладая высокой практической ценностью в областях расширения небольших выборок инфракрасных объектов и усиления инфракрасных изображений.

модель pix2pix; обучаемое гауссовское ядро; динамическое взвешивание; генерация инфракрасных изображений; масочное руководство