Воплощенное обучение

навигация и выполнений действия по языковым командам

Воплощенное познание (embodied cognition) – это концепция обучения интеллектуальных агентов, в которой мы явно учитываем свойства внешней среды и то, какую обратную связь она дает агенту в ответ на его действия. Данная постановка актуальна для построения роботов-ассистентов, которые помогают человеку в его повседневных задачах.

В этом направлении развиваются мультимодальные методы обучения, в том числе обучения с подкреплением, которые принимают на вход как изображения из внешней среды, так и текстовые команды или комментарии, а на выходе должны сгенерировать последовательность оптимальных действий для выполнения инструкции.

В данным направлении наша команда разрабатывает свои собственные иерархические подходы, участвует в таких соревнованиях как ALFRED и Habitat.
Семинар 14: Обзор работ по обучению с подкреплением с конференции AAMAS 2020 | Александра Яковлева
AAMAS (International Conference on Autonomous Agents and Multi-Agent Systems), что в переводе на родной язык означает - Международная конференция по автономным агентам и мультиагентным системам.
Необходимые умения
  • Сильная математическая подготовка (курсы математической статистики, дискретной математики, теории алгоритмов)
  • Понимание принципов машинного обучения
  • Отличное знание Python
  • Уверенное владение нейросетевыми фреймворками (PyTorch, Tensorflow)
  • Опыт работы с большими нейросетевыми моделями
Публикации
Наши:
  • Kovalev A.K. et al. Vector Semiotic Model for Visual Question Answering // Cognitive Systems Research. 2022. Vol. 71. P. 52–63.
  • Kirilenko D.E. et al. Question Answering for Visual Navigation in Human-Centered Environments // Advances in Soft Computing. MICAI 2021.
  • Staroverov A. et al. Learning embodied agents with policy gradients to navigate in realistic environments // Advances in Neural Computation, Machine Learning, and Cognitive Research IV. NEUROINFORMATICS 2020

  • Min S.Y. et al. FILM: Following Instructions in Language with Modular Methods. 2021. (http://arxiv.org/abs/2110.07342)
  • Padmakumar A. et al. TEACh: Task-driven Embodied Agents that Chat. 2021. (http://arxiv.org/abs/2110.00534)
  • Duan J. et al. A Survey of Embodied AI: From Simulators to Research Tasks. 2021. (http://arxiv.org/abs/2103.04918)
  • Yi K. et al. Neural-symbolic VQA: Disentangling reasoning from vision and language understanding // Advances in Neural Information Processing Systems. 2018. NeurIPS. P. 1031–1042.
Темы исследовательских проектов

  • Реализация модуля предсказания семантической карты в задаче обучения с подкреплением для навигации
  • Мультимодальная архитектура обучения выполнению инструкций
  • Трансформерные модели для мультизадачного обучения
  • Участие в конкурсах ALFRED и Habitat.