В МФТИ развиваются проекты по созданию созданию датасетов и физически- и фото-реалистичных сред для обучения систем навигации и управления манипуляционных, мобильных, антропоморфных роботов, беспилотных транспортных стредств.

Вызовом является создание технологии автоматического переноса информации с бортовых камер, лидаров, тактильных датчиков и иных сенсоров в трехмерную физически-правдоподобную симуляцию, которая решала бы проблему ограниченности количества реальных данных для обучения систем управления роботами и не имела бы Sim2Real-ограничений. По этой теме планируется исследовать, разрабатывать и испытывать в реальных условиях различные программные решения:

• Автоматическое создание фотореалистичных сред в симуляторе с артикулируемыми объектами, которые могут менять свое состояние (например, открытая/закрытая дверца холодильника, включенный/выключенный кран на кухне или выключатель света) по данным бортовых сенсоров робота (в.т.ч. камер и/или лидаров)
• Построение open-voсabulary трехмерных реконструкций сцены, к которым можно строить языковые запросы и изменять 3D-среду с помощью голосовых инструкций, в том числе добавлять/удалять объекты
• Построение графов изменяющихся 3D-сцен по данным бортовых сенсоров роботов и генерация по ним фотореалистичных и физически-правдоподобных цифровых двойников окружающей среды (помещения, улицы) в симуляторе
• Разработка 3D-моделей мира, которые бы с применением технологии гауссовского сплаттинга по текущим данным бортовых камер, имели возможность предугадывать трехмерное состояние среды в следующий момент времени с учетом ограничений выполняемых роботом действий.