Método de detecção de alvos multimodal de fusão de fluxo duplo para imagens multiespectrais de sensoriamento remoto por drone

LIAO Huan ,  

GU Chengjie ,  

ZHU Dongjun ,  

MENG Yi ,  

摘要

Para abordar os problemas de enfraquecimento das características intra-modais e da baixa eficiência na interação entre modalidades na detecção de alvos multiespectrais com drones, propomos um método de detecção de alvos que integra o aumento monocódigo de fluxo duplo e a interação de características entre modalidades. Projetamos um módulo de transformação wavelet baseado em convolução separável em profundidade para extrair e aprimorar os detalhes de alta frequência dos mapas de características, fortalecendo a capacidade do ramo de luz visível para extrair detalhes de textura. Propomos um módulo de fusão de informação global em múltiplas escalas que utiliza a integração de características multicamadas e a extração de informação global para reforçar a capacidade do ramo infravermelho na detecção de objetos térmicos. Construímos um módulo híbrido de fusão de autoatenção multimodal que orienta adaptativamente a interação das características dos modos visível e infravermelho, explorando plenamente a complementaridade espectral. Os resultados experimentais mostram que o método alcança mAP@0.50 de 86,7% e 86,0% nos conjuntos de dados multiespectrais DVTOD e DroneVehicle, respectivamente, melhorando o modelo base em 1,3% e 1,9%, melhorando efetivamente o desempenho da detecção de alvos multiespectrais por drones.

关键词

drone; detecção multiespectral de alvos; multimodal; transformação wavelet; autoatenção híbrida

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website