Воплощенное познание (embodied cognition) – это концепция обучения интеллектуальных агентов, в которой мы явно учитываем свойства внешней среды и то, какую обратную связь она дает агенту в ответ на его действия. Данная постановка актуальна для построения роботов-ассистентов, которые помогают человеку в его повседневных задачах.

В этом направлении развиваются мультимодальные методы обучения, в том числе обучения с подкреплением, которые принимают на вход как изображения из внешней среды, так и текстовые команды или комментарии, а на выходе должны сгенерировать последовательность оптимальных действий для выполнения инструкции.

В данным направлении наша команда разрабатывает свои собственные иерархические подходы, участвует в таких соревнованиях как ALFRED и Habitat.