Método de síntesis de imágenes sonar de difusión de estilo multimodal cruzado guiado por física y con restricciones estructurales

ZHAO Qiaoqiao ,  

ZHANG Lichuan ,  

LI Xuanfeng ,  

PAN Guang ,  

摘要

Para resolver el problema de la escasez de datos anotados de alta calidad en la percepción submarina por sonar, se estableció un método de síntesis de imágenes sonar basado en un modelo de difusión guiado físicamente y con restricciones estructurales, utilizado para la síntesis cruzada multimodal desde teledetección óptica a imágenes sonar. Los métodos actuales basados en modelos de difusión suelen enfocarse en imágenes ópticas generales y, al manejar la tarea de síntesis cruzada multimodal de óptico a sonar, a menudo ignoran el mecanismo de formación del sonar, lo que resulta en la degradación de las características acústicas y colapso de la estructura geométrica. Por ello, se construyó un módulo de alineación de ruido en el dominio de frecuencia e inyección de priors acústicos, insertando la distribución real de texturas sonar y priors físicos de sombras y brillos en la fase inicial de desruido por difusión; al mismo tiempo, se introduce un mecanismo de atención con restricciones estructurales para aplicar una estrategia de transferencia de estilo diferenciada en las áreas objetivo y de fondo, generando características acústicas realistas mientras se preserva el contorno geométrico y la estructura posicional del objetivo, logrando la transferencia directa de etiquetas ópticas. Los resultados experimentales muestran que el método es superior en autenticidad acústica y estructura del objetivo. El uso de datos generados para entrenar el detector YOLOv8 mejoró la media de precisión mAP50-95 en el rango 0.50~0.95 de 0.724 a 0.771. El método establecido proporciona una solución práctica e ingenieril para aliviar la escasez de datos en percepción sonar submarina.

关键词

síntesis de imágenes sonar; generación multimodal cruzada; modelos de difusión; aumento de datos; percepción de objetivos submarinos

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website