Ответы на вопросы по изображениям

Одна из ключевых проблем в искусственном интеллекте – проблема привязки символов (symbol grounding problem) и создание «воплощенных» (embodied) архитектур управления интеллектуальными агентами.


В этом направлении мы уделяем наибольшее внимание решению задачи VQA - ответов на вопросы по изображением, с помощью которой мы можем демонстрировать возможности нашей знаковой архитектуры. Сама задача VQA является и очень практически значимой, позволяя моделировать процессы понимания изображений.

Выступление на конференции AGI-2020
Доклад А.К. Ковалева на тему "Hyperdimensional Representations in Semiotic Approach to AGI"
Публикации
  • Gupta N. et al. Neural module networks for reasoning over text // ICLR 2020. 2020. P. 1–17.
  • Dalu Guo et al. Bilinear Graph Networks for Visual Question Answering ArXiv
  • Kovalev A.K., Panov A.I., Osipov E. Hyperdimensional Representations in Semiotic Approach to AGI // Artificial General Intelligence. AGI 2020. Lecture Notes in Computer Science. Springer, 2020. Vol. 12177. P. 231–241. Springer
  • Kovalev A.K., Panov A.I. Mental Actions and Modelling of Reasoning in Semiotic Approach to AGI // Artificial General Intelligence. AGI 2019. Lecture Notes in Computer Science / ed. Hammer P. et al. Springer, 2019. Vol. 11654. P. 121–131. Springer
Презентации
Необходимые умения для стажеров
  • Владение Python
  • Технический английский
  • Опыт работы с изображениями и текстом
Темы научно-исследовательских проектов
  • Нейросимвольные вычисления
  • Ответы на определенный класс вопросов по набору изображений
  • Ответы на вопросы по видео
  • Пространственные рассуждения по данным с камеры