Разработка и исследование методов обучения с подкреплением (RL) для робастного манипулирования объектами произвольной и сложной формы в условиях высокой вариативности сцены. Подобные методы находят практическое применение в задачах автономной манипуляции, таких как сборка, сортировка и упаковка в непредсказуемых условиях.

Исследование направлено на разработку методов обучения с подкреплением (RL) для координированного управления мобильной платформой и манипулятором, то есть управления всем телом робота в составе единой политики. Подобные задачи мобильной манипуляции особенно актуальны в реальных сценариях, где необходимо перемещаться по ограниченному пространству, избегать препятствий и точно взаимодействовать с объектами.

Исследование посвящено разработке методов глубокого обучения с подкреплением (RL) для управления роботами с несколькими манипуляторами и мобильной платформой в условиях частичной наблюдаемости и наличия внешней семантической информации. Основной акцент делается на использование графа знаний.

Проект направлен на создание комплексных методов для генерации трёхмерных сцен, автоматического построения синтетических датасетов и валидации поведения интеллектуальных агентов в физически достоверных симуляционных средах. Особое внимание уделяется адаптации и масштабируемости этих методов под различные классы задач, роботов и типов среды.

Разработка и анализ механизмов памяти в агентах для обучения с подкреплением.

В рамках проекта мы разрабатываем собственные архитектуры агентов с памятью для задач RL и создаём бенчмарки с частичной наблюдаемостью для их валидации. Это позволяет системно оценивать, как различные типы памяти улучшают устойчивость и качество поведения агента в условиях неполной информации.

Исследование методов интеграции знаний и возможностей рассуждения LLM в робототехнические платформы для выполнения инструкций сформулированных на естественном языке. С особым фокусом на составные, динамичные и коллаборативные задачи.

Разработка и анализ механизмов обобщения в агентах для обучения с подкреплением.

В рамках проекта мы разрабатываем и исследуем архитектуры робастных агентов обучения с подкреплением, способных решать различные OOD задачи.

Разработка и улучшение Vision-language-action моделей для робототехники.

Такие модели позволяют роботам понимать сложные команды, анализировать окружающую среду и выполнять задачи с высокой автономностью. VLA-модели открывают новые возможности для создания универсальных роботизированных систем, способных адаптироваться к динамичным условиям, взаимодействовать с людьми и обучаться на основе мультимодальных данных.

Методы распознавания места для глобальной локализации робота с использованием графа 3D-сцены/

В ходе проекта Вам предстоит подключиться к разработке таких быстрых и надежных нейросетевых подходов распознавания места, которые наша команда Центра когнитивного моделирования планирует внедрять на практике в партнерстве с Центром робототехники Сбера.

Разработка методов построения и обновления мультимодальных карт знаний для динамических сцен.

В ходе проекта Вы поучаствуете в разработке и исследовании нейросетевых алгоритмов сжатия и токенизации карт знаний, а также будете их использовать для различных задач навигации и управления мобильными манипуляторами.

Обучаемые методы построения карт местности высокой размерности (HD-карт) для беспилотных автомобилей и роботов по сенсорным данным.

В ходе проекта предлагается исследовать современные нейросетевые подходы для построения и обновления HD-карт, а также опробовать их на практике на реальных транспортных средствах. Важной составляющей проекта является написание научных статей и проведение экспериментов с открытыми наборами данных, чтобы превзойти SOTA-уровень разработок.

Методы одновременной локализации и построения карты (SLAM) с учетом особых элементов трехмерной сцены.

В ходе проекта Вам предстоит разрабатывать и развивать алгоритмы, базовые версии которых мы успешно протестировали в ходе конкурса UpGreat «Пятый уровень» на реальной беспилотной электрической Газели и которые планируется внедрять в системы помощи водителю. Вы получите опыт как разработки ПО в рамках выполнения индустриального проекта, так и написания научной статьи.

Нейросетевые методы сегментации дорожной сцены для систем помощи водителю.

При построении систем помощи водителю транспортных средств (ADAS) критичным является распознавание не только заранее известных категорий объектов-препятствий (например, людей, автомобилей, мотоциклов и тп), но и любых других объектов (positive obstacles), которые могут оказаться на дороге.

Разработка методов активного очувствления.

В ходе проекта вы поучаствуете в разработке и исследовании алгоритмов: фокусирования на области интереса в пределах изображения или облака точек, наблюдения за областью интереса с движением шеи/головы/тела робота, движения в область интереса и других.

А также бенчмарков для их валидации. Вы получите опыт как разработки ПО в рамках выполнения индустриального проекта, так и написания научной статьи.

Вы погрузитесь в исследование масштабируемых архитектур, которые способны управлять тысячами объектов (например, товаров или светофоров), в том числе в условиях отсутствия исторических данных — за счёт использования общих моделей агентов с адаптивным поведением и механизмами коммуникации.

Проект посвящён разработке методов обучения коммуникации в мультиагентных системах, где агенты должны научиться эффективно взаимодействовать друг с другом для совместного решения задач.