Описание
Новые трансформерные архитектуры для VLA моделей (Vision–Language–Action) — это направление исследований на стыке компьютерного зрения, обработки естественного языка и обучения с подкреплением. VLA-модели предназначены для интеллектуальных агентов и роботов, которые должны воспринимать окружающую среду (vision), понимать текстовые или голосовые инструкции (language) и принимать решения и выполнять действия (action) в едином, согласованном представлении. В основе современных VLA-подходов лежат трансформерные архитектуры, способные эффективно объединять разные модальности и работать с длинными последовательностями наблюдений и действий.

В рамках этого направления исследуются новые варианты трансформеров: архитектуры с явным учетом времени и причинности, иерархические и модульные модели, механизмы кросс-модального внимания, а также методы обучаемой токенизации и интеграция с безградиентными моделями. Особое внимание уделяется применению таких моделей в робототехнике и embodied AI, где важно не только точное предсказание действий, но и устойчивое, интерпретируемое поведение в реальной среде.

Цель исследований — создание VLA-моделей нового поколения, которые смогут обучаться на мультимодальном опыте, обобщать знания на новые задачи и служить универсальной основой для интеллектуальных систем, взаимодействующих с физическим и виртуальным миром.