Цель проекта: сократить цикл открытия знаний — от идеи до публикации — позволяя ученым сосредоточиться на стратегических и творческих аспектах. В целом, AIScientist — это шаг к новой парадигме совместного человеко-машинного научного творчества.

Цель исследований — создание VLA-моделей нового поколения, которые смогут обучаться на мультимодальном опыте, обобщать знания на новые задачи и служить универсальной основой для интеллектуальных систем, взаимодействующих с физическим и виртуальным миром.

Исследование направлено на разработку методов обучения с подкреплением (RL) для координированного управления мобильной платформой и манипулятором, то есть управления всем телом робота в составе единой политики. Подобные задачи мобильной манипуляции особенно актуальны в реальных сценариях, где необходимо перемещаться по ограниченному пространству, избегать препятствий и точно взаимодействовать с объектами.

Исследование посвящено разработке методов глубокого обучения с подкреплением (RL) для управления роботами с несколькими манипуляторами и мобильной платформой в условиях частичной наблюдаемости и наличия внешней семантической информации. Основной акцент делается на использование графа знаний.

Проект направлен на создание комплексных методов для генерации трёхмерных сцен, автоматического построения синтетических датасетов и валидации поведения интеллектуальных агентов в физически достоверных симуляционных средах. Особое внимание уделяется адаптации и масштабируемости этих методов под различные классы задач, роботов и типов среды.

Целью работы является разработка и исследование методов управления манипуляторами для устойчивого (робастного) захвата и манипулирования объектами сложной формы из большого, заранее известного набора (до нескольких тысяч объектов).

Разработка и исследование методов обучения с подкреплением (RL) для робастного манипулирования объектами произвольной и сложной формы в условиях высокой вариативности сцены. Подобные методы находят практическое применение в задачах автономной манипуляции, таких как сборка, сортировка и упаковка в непредсказуемых условиях.

Разработка и анализ механизмов памяти в агентах для обучения с подкреплением.

В рамках проекта мы разрабатываем собственные архитектуры агентов с памятью для задач RL и создаём бенчмарки с частичной наблюдаемостью для их валидации. Это позволяет системно оценивать, как различные типы памяти улучшают устойчивость и качество поведения агента в условиях неполной информации.

Исследование методов интеграции знаний и возможностей рассуждения LLM в робототехнические платформы для выполнения инструкций сформулированных на естественном языке. С особым фокусом на составные, динамичные и коллаборативные задачи.

Разработка и анализ механизмов обобщения в агентах для обучения с подкреплением.

В рамках проекта мы разрабатываем и исследуем архитектуры робастных агентов обучения с подкреплением, способных решать различные OOD задачи.

Разработка и улучшение Vision-language-action моделей для робототехники.

Такие модели позволяют роботам понимать сложные команды, анализировать окружающую среду и выполнять задачи с высокой автономностью. VLA-модели открывают новые возможности для создания универсальных роботизированных систем, способных адаптироваться к динамичным условиям, взаимодействовать с людьми и обучаться на основе мультимодальных данных.

Современные системы испытывают трудности с последовательным и надежным пространственным пониманием (spatial understanding). Такие задачи, как распознавание относительного положения объектов, поддержание 3D-согласованности между различными точками обзора, анализ движения и пространственных отношений, остаются нерешенными.

В ходе проекта Вы поучаствуете в разработке и исследовании нейросетевых алгоритмов сжатия и токенизации карт знаний, а также будете их использовать для различных задач навигации и управления мобильными манипуляторами.

В ходе проекта Вам предстоит разрабатывать и развивать алгоритмы, базовые версии которых мы успешно протестировали в ходе конкурса UpGreat «Пятый уровень» на реальной беспилотной электрической Газели и которые планируется внедрять в системы помощи водителю. Вы получите опыт как разработки ПО в рамках выполнения индустриального проекта, так и написания научной статьи.