Описание
На дорожной сцене, как правило, присутствует семантическая информация, которую явно можно использовать при локализации беспилотных автомобилей и роботов: информация о краях дороги, дорожной разметке, столбах и т.п.. При этом может быть использован специальный формат карт – так называемые HD-карты (High-Dimensional maps), при построении которых используется много специфических слоев (один для дороги, другой для бордюра, третий для края дороги, четвертый для дорожных знаков, пятый для светофоров и т.п.).

В ходе проекта предлагается исследовать современные нейросетевые подходы для построения и обновления таких HD-карт, а также опробовать их на практике на реальных транспортных средствах.

Кроме того, важной составляющей проекта является написание научных статей и проведение экспериментов с открытыми наборами данных, чтобы превзойти SOTA-уровень разработок.

Задачи исследования

• Разработка быстрых трансформерных методов для построения и обновления HD-карт местности по данным камер и/или лидаров.
• Разработка и обучение VLM для генерации и обновления HD-карт.
• Разработка метода добавления на карту местности долгосрочной истории изменений состояния объектов сцены с использованием нейросетевых моделей памяти.
• Сбор и автоматизированная разметка данных с бортовых сенсоров транспортных средств (лидаров и камер), в том числе существующих открытых наборов данных.
• Разработка симуляционной среды, например, в симуляторе Carla, для сбора данных для обучения моделей построения HD-карт и бенчмарка для их тестирования.
• Разработка программного инструмента автоматизированной разметки и корректировки HD-карт
• Использование HD-карт для локализации транспортных средств в пространстве
• Имплементация разработанных подходов на борту технической системы / робота / транспортного средства