Método de detección de objetivos intermodal de fusión de doble flujo para imágenes multiespectrales de teledetección con drones

LIAO Huan ,  

GU Chengjie ,  

ZHU Dongjun ,  

MENG Yi ,  

摘要

Para abordar los problemas de debilitamiento de características intra-modales y baja eficiencia en la interacción entre modos en la detección de objetivos multiespectrales con drones, se propone un método de detección de objetivos que fusiona el aumento monocausal de doble flujo con la interacción de características entre modos. Se diseña un módulo de transformada wavelet basado en convolución separable en profundidad para extraer y mejorar los detalles de alta frecuencia de los mapas de características, fortaleciendo la capacidad de la rama de luz visible para extraer detalles de textura. Se propone un módulo de fusión de información global a múltiples escalas que utiliza la integración de características multiescala y la extracción de información global para mejorar la capacidad de detección de objetos térmicos de la rama infrarroja. Se construye un módulo híbrido de autoatención multimodal que guía adaptativamente la interacción de características entre los modos visible e infrarrojo, explotando plenamente la complementariedad espectral. Los resultados experimentales muestran que el método alcanza mAP@0.50 de 86.7% y 86.0% en los conjuntos de datos multiespectrales DVTOD y DroneVehicle, mejorando el modelo base en 1.3% y 1.9% respectivamente, mejorando eficazmente el rendimiento de detección de objetivos multiespectrales con drones.

关键词

drones; detección multiespectral de objetivos; intermodal; transformada wavelet; autoatención híbrida

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website