Цель проекта: сократить цикл открытия знаний — от идеи до публикации — позволяя ученым сосредоточиться на стратегических и творческих аспектах. В целом, AIScientist — это шаг к новой парадигме совместного человеко-машинного научного творчества.

Проект нацелен на развитие асинхронных методов обучения языковых моделей, способных эффективно осваивать сложные задачи математического и программного рассуждения при ограниченных вычислительных ресурсах.

Целью работы является разработка и исследование методов управления манипуляторами для устойчивого (робастного) захвата и манипулирования объектами сложной формы из большого, заранее известного набора (до нескольких тысяч объектов).

На данный момент существует технологический барьер, состоящий в разработке наземного мобильного аппаратно-программного роботизированного комплекса, позволяющего с высокой точностью в автоматизированном или автоматическом режиме осуществлять поиск, обнаружение, локализацию и классификацию археологических предметов и объектов, расположенных в культурном слое, на основе комплексирования разнородных данных при решении задач археологической разведки.

В данной работе предполагается разработать пространственно-временной метрико-семантический SLAM, способный функционировать в динамических средах. Основная цель заключается в интеграции современных подходов к одновременной локализации и построению карты, обеспечивающих устойчивую работу системы при наличии подвижных объектов и изменений сцены.

Современные системы испытывают трудности с последовательным и надежным пространственным пониманием (spatial understanding). Такие задачи, как распознавание относительного положения объектов, поддержание 3D-согласованности между различными точками обзора, анализ движения и пространственных отношений, остаются нерешенными.

Участники проектов будут заниматься реализацией и анализом новых архитектур агентов, разработкой компактных тестовых сред и исследованием возникающих явлений — таких как специализация, память и адаптивное исследование. Работа объединяет элементы теории RL, биологически вдохновлённого моделирования и инженерного проектирования алгоритмов.

Разработка и исследование методов обучения с подкреплением (RL) для робастного манипулирования объектами произвольной и сложной формы в условиях высокой вариативности сцены. Подобные методы находят практическое применение в задачах автономной манипуляции, таких как сборка, сортировка и упаковка в непредсказуемых условиях.

Исследование направлено на разработку методов обучения с подкреплением (RL) для координированного управления мобильной платформой и манипулятором, то есть управления всем телом робота в составе единой политики. Подобные задачи мобильной манипуляции особенно актуальны в реальных сценариях, где необходимо перемещаться по ограниченному пространству, избегать препятствий и точно взаимодействовать с объектами.

Исследование посвящено разработке методов глубокого обучения с подкреплением (RL) для управления роботами с несколькими манипуляторами и мобильной платформой в условиях частичной наблюдаемости и наличия внешней семантической информации. Основной акцент делается на использование графа знаний.

Проект направлен на создание комплексных методов для генерации трёхмерных сцен, автоматического построения синтетических датасетов и валидации поведения интеллектуальных агентов в физически достоверных симуляционных средах. Особое внимание уделяется адаптации и масштабируемости этих методов под различные классы задач, роботов и типов среды.

Разработка и анализ механизмов памяти в агентах для обучения с подкреплением.

В рамках проекта мы разрабатываем собственные архитектуры агентов с памятью для задач RL и создаём бенчмарки с частичной наблюдаемостью для их валидации. Это позволяет системно оценивать, как различные типы памяти улучшают устойчивость и качество поведения агента в условиях неполной информации.

Исследование методов интеграции знаний и возможностей рассуждения LLM в робототехнические платформы для выполнения инструкций сформулированных на естественном языке. С особым фокусом на составные, динамичные и коллаборативные задачи.

Разработка и анализ механизмов обобщения в агентах для обучения с подкреплением.

В рамках проекта мы разрабатываем и исследуем архитектуры робастных агентов обучения с подкреплением, способных решать различные OOD задачи.

Разработка и улучшение Vision-language-action моделей для робототехники.

Такие модели позволяют роботам понимать сложные команды, анализировать окружающую среду и выполнять задачи с высокой автономностью. VLA-модели открывают новые возможности для создания универсальных роботизированных систем, способных адаптироваться к динамичным условиям, взаимодействовать с людьми и обучаться на основе мультимодальных данных.

В ходе проекта Вам предстоит подключиться к разработке таких быстрых и надежных нейросетевых подходов распознавания места, которые наша команда Центра когнитивного моделирования планирует внедрять на практике в партнерстве с Центром робототехники Сбера.

В ходе проекта Вы поучаствуете в разработке и исследовании нейросетевых алгоритмов сжатия и токенизации карт знаний, а также будете их использовать для различных задач навигации и управления мобильными манипуляторами.

В ходе проекта предлагается исследовать современные нейросетевые подходы для построения и обновления HD-карт, а также опробовать их на практике на реальных транспортных средствах. Важной составляющей проекта является написание научных статей и проведение экспериментов с открытыми наборами данных, чтобы превзойти SOTA-уровень разработок.

В ходе проекта Вам предстоит разрабатывать и развивать алгоритмы, базовые версии которых мы успешно протестировали в ходе конкурса UpGreat «Пятый уровень» на реальной беспилотной электрической Газели и которые планируется внедрять в системы помощи водителю. Вы получите опыт как разработки ПО в рамках выполнения индустриального проекта, так и написания научной статьи.

При построении систем помощи водителю транспортных средств (ADAS) критичным является распознавание не только заранее известных категорий объектов-препятствий (например, людей, автомобилей, мотоциклов и тп), но и любых других объектов (positive obstacles), которые могут оказаться на дороге.

В ходе проекта вы поучаствуете в разработке и исследовании алгоритмов: фокусирования на области интереса в пределах изображения или облака точек, наблюдения за областью интереса с движением шеи/головы/тела робота, движения в область интереса и других.

А также бенчмарков для их валидации. Вы получите опыт как разработки ПО в рамках выполнения индустриального проекта, так и написания научной статьи.

Вы погрузитесь в исследование масштабируемых архитектур, которые способны управлять тысячами объектов (например, товаров или светофоров), в том числе в условиях отсутствия исторических данных — за счёт использования общих моделей агентов с адаптивным поведением и механизмами коммуникации.