Для решения проблем ослабления внутренних признаков модальностей и неэффективного межмодального взаимодействия в задаче обнаружения целей с использованием беспилотных летательных аппаратов и мультиспектрального дистанционного зондирования предлагается метод обнаружения целей, объединяющий усиление однотипных данных в двух потоках и межмодальное взаимодействие признаков. Разработан модуль вейвлет-преобразования на базе глубоко раздельной свертки, который извлекает и усиливает высокочастотные детали характеристик, улучшая способность видимого спектра извлекать текстурные детали. Предложен модуль глобального слияния информации с разных масштабов, использующий интеграцию многоуровневых признаков и извлечение глобальной информации для усиления возможности инфракрасного канала обнаруживать тепловые объекты. Создан смешанный мульти-модальный модуль само-внимания для адаптивного управления взаимодействием признаков видимого и инфракрасного спектров, максимально используя спектральную дополнительность. Экспериментальные результаты показывают, что метод достигает mAP@0.50 86.7% и 86.0% на мультиспектральных датасетах DVTOD и DroneVehicle, улучшая базовую модель на 1.3% и 1.9% соответственно, эффективно повышая производительность обнаружения мультиспектральных целей на БПЛА.

БПЛА; мультиспектральное обнаружение целей; межмодальное; вейвлет-преобразование; смешанное само-внимание