Описание
До сих пор является нерешенной проблема построения и обновления изменяющихся во времени трехмерных карт окружающих робот объектов со связями между собой (так называемых карт знаний). Кроме того перспективно исследование сжатого представления таких карт для навигации мобильных роботов или для управления манипуляторами, которые должны функционировать в сложной динамической среде.

В ходе проекта Вы поучаствуете в разработке и исследовании нейросетевых алгоритмов сжатия и токенизации карт знаний, а также будете их использовать для различных задач навигации и управления мобильными манипуляторами. Вы получите опыт как разработки ПО в рамках выполнения индустриального проекта, так и написания научной статьи.

Задачи исследования

• Разработка модульного подхода построения карт знаний для изменяющихся динамических сцен по данным RGB-D-камеры робота, которые позволяют вести рассуждения по таким картам с использованием языковых запросов
• Разработка End-2-End VLM, которая может строить на выходе моментальный граф 3D-сцены, а также обновлять его по сенсорному входу
• Разработка метода  рендеринга трехмерных сцен, обогащенных семантической информацией, с применением технологии гауссовского сплаттинга (Gaussian Splatting)
• Разработка методов токенизации и сжатия карт знаний для применения для манипуляции и навигации роботов и автомобилей
• Разработка бенчмарка для тестирования разработанных методов и алгоритмов
• Имплементация разработанных алгоритмов в робототехнической системе