Um das Problem der Abschwächung intramodaler Merkmale und ineffizienter multimodaler Interaktion bei der multispktralen Objekterkennung mit Drohnen zu lösen, wird eine Methode zur Objekterkennung vorgeschlagen, die eine Fusion von zweiströmiger Einzelmodalverstärkung und multimodaler Merkmalinteraktion verwendet. Es wurde ein auf tiefen separierbaren Faltungen basierendes Wavelet-Transformationsmodul entwickelt, das hochfrequente Details der Merkmalbilder extrahiert und verstärkt und so die Fähigkeit des sichtbaren Lichts verbessert, Texturdetails zu erfassen. Ein skalenübergreifendes globales Informationsfusionsmodul wird vorgeschlagen, das mehrskalige Merkmalsintegration und globale Informationsgewinnung nutzt, um die Fähigkeit des Infrarotzweigs zur Erkennung thermischer Objekte zu verbessern. Ein multimodales hybrides Self-Attention-Fusionsmodul wurde entwickelt, das die Merkmalinteraktion zwischen sichtbarem Licht und Infrarot adaptiv steuert und damit die spektrale Komplementarität voll ausschöpft. Experimentelle Ergebnisse zeigen, dass die Methode auf den multispektralen Datensätzen DVTOD und DroneVehicle mAP@0.50 von 86,7 % bzw. 86,0 % erreicht und die Basismodelle um 1,3 % bzw. 1,9 % übertrifft, wodurch die Leistung der multispektralen Drohnenerkennung effektiv verbessert wird.

Drohnen; multispektrale Objekterkennung; multimodal; Wavelet-Transformation; hybrides Self-Attention