Осенний цикл семинаров
2021
2021
Центра когнитивного моделирования МФТИ
Еженедельно по четвергам в 17:00
Еженедельно по четвергам в 17:00
Осенняя серия семинаров, которую организует наш Центр, будет включать в себя два направления: обзор актуальных работ с ведущих конференций по тематикам наших лабораторий и выступления студентов и аспирантов с результатами (итоговыми и промежуточными) проектов, в которых они участвуют. По тематике семинаров мы условно выделяем четыре топика: обучение с подкреплением (RL), компьютерное зрение (CV), планирование поведения и управление (Plan, Control), общий искусственный интеллект (Sign, Neuro).
Наши семинары открытые - приглашаем принять участие всех желающих. Если у вас есть тема, которая укладывается в наши направления, пишите по нашим контактам - мы рады расширению сообщества и включим все достойные доклады в программу.
Наши семинары открытые - приглашаем принять участие всех желающих. Если у вас есть тема, которая укладывается в наши направления, пишите по нашим контактам - мы рады расширению сообщества и включим все достойные доклады в программу.
Партнеры
График
Задача открытия дверей и применение N-ODE для управления манипуляторами | Константин Миронов, Андрей Городецкий
Чт, 17 феварля 17:00
Задача открытия двери робототехническими манипуляторами актуальна для обеспечения мобильности робототехническим систем в indoor-средах.
В первой части семинара Константин Миронов расскажет о существующих работах в этой области, достигнутых результатах и разрабатываемом в Центре Когнитивного Моделирования подходе на основе методов оптимального управления.
Во второй части семинара Андрей Городецкий расскажет об аппроксимации функций динамики с помощью Neural Ordinary Differential Equations.
В рамках предлагаемого подхода N-ODE применяются для аппроксимации зависимости производных состояния объекта управления от текущих состояний и управляющих воздействий.
Анализ методов SLAM на основе данных радаров. Обзор новых публикаций в IROS, ICRA | Андрей Криштопик
Чт, 10 февраля 17:00
Анализ радарных методов SLAM, учитывающих разреженность и зашумлённость радарных данных, а также использующих доплеровские скорости точек, измеряемые радаром. Обзор новых нейросетевых подходов с передовых конференций для радарного SLAM.
Flatland Challenge 3: Multi-agent Reinforcement Learning on Trains
Обзор решения 1-2го места | Зейн Али, Инна Минашина
Обзор решения 1-2го места | Зейн Али, Инна Минашина
Чт, 3 февраля 17:00
Семинар отведен опыту участия в соревновании Flatland, в котором предлагается решить ключевую проблему в сфере транспорта: как эффективно управлять плотным трафиком на сложных железнодорожных сетях. Данное соревнование проводится на платформе AICrowd при поддержке Швейцарских, Французских и Немецких федеральных железных дорог, а также совместно с ведущими конефернециями в области машинного обучения такими как NeurIPS, AMLD и ICAPS.
В соревнование есть два трека (решения на основе обучения с подкреплением и с помощью других методов), а также общий зачет. В первом докладе Зейн Али расскажет про свое решение, с которым он занял 2-ое место в общем зачете. Во втором докладе Инна раскажет про решение команды из лаборатории волновых процессов и систем управления, которому удалось занять 1-ое место в треке Reinforcement Learning. Поздравляем ребят с прекрасным результатом и желаем новых побед и публикаций!
Сореванование: https://www.aicrowd.com/challenges/flatland-3
Обзором моделей и методов планирования и управления в области современной антропоморфной робототехнике | Дмитрий Макаров
Чт, 27 января 17:00
Доклад посвящен текущему положению дел в области современной антропоморфной робототехники. Рассматривается классификация таких роботов, некоторые современные платформы (Atlas от Boston Dynamics, HRP от National Institute of Advanced Industrial Science and Technology, Cassie от Oregon State University и др.), а также математические модели и методы, используемые в задачах планирования и управления (метод коллокации, Differential Dynamic Programming, Hybrid Zero Dynamics и др.).
Мультисенсорные методы локализации и построения карты с
конференций IROS/ICRA | Ярослав Соломенцев, Денис Маматин
конференций IROS/ICRA | Ярослав Соломенцев, Денис Маматин
Чт, 23 декабря 17:00
SLAM - задача определения местоположения и ориентации автономных роботов на заранее неизвестной им местности, а также, для обновления или дополнения уже известных карт окружающего пространства. На текущий момент представлено большое число однокамерных режимов SLAM Mono/Stereo/RGBD, введение же многокамерности позволит улучшить точность SLAM.
Сложности построения карты появляются в непредсказуемых условиях окружающей среды. К таким сложных условиях окружающей среды относятся в частности: движение в поле, движение в местах недоступные для спутниковой системы навигации, движение в темноте, движение в местности без текстур (например в белом пустом коридоре), движение в загазованной местности и многие другие сценарии. Для преодоления проблем в вышеперечисленных сценарием следует использовать сенсоры разного типа. Например, при использовании большего количества камер можно добиться устойчивого движения в условиях с низким количеством текстур в окружающей среде. Или например в случае отказа по какой-либо причине (неподходящие условия местности) одного или нескольких сенсоров использовать данные других сенсоров.
В первой презентации Денис Маматин рассмотрит новые методы мультикамерной локализации и построения карты с IROS/ICRA, в том числе затрагивающие проблему асинхронности камер. Во второй презентации Ярослав Соломенцев расскажет об имеющихся современных подходах к комплексированию нескольких сенсоров, в частности лидара и камеры.
SLAM - задача определения местоположения и ориентации автономных роботов на заранее неизвестной им местности, а также, для обновления или дополнения уже известных карт окружающего пространства. На текущий момент представлено большое число однокамерных режимов SLAM Mono/Stereo/RGBD, введение же многокамерности позволит улучшить точность SLAM.
Сложности построения карты появляются в непредсказуемых условиях окружающей среды. К таким сложных условиях окружающей среды относятся в частности: движение в поле, движение в местах недоступные для спутниковой системы навигации, движение в темноте, движение в местности без текстур (например в белом пустом коридоре), движение в загазованной местности и многие другие сценарии. Для преодоления проблем в вышеперечисленных сценарием следует использовать сенсоры разного типа. Например, при использовании большего количества камер можно добиться устойчивого движения в условиях с низким количеством текстур в окружающей среде. Или например в случае отказа по какой-либо причине (неподходящие условия местности) одного или нескольких сенсоров использовать данные других сенсоров.
В первой презентации Денис Маматин рассмотрит новые методы мультикамерной локализации и построения карты с IROS/ICRA, в том числе затрагивающие проблему асинхронности камер. Во второй презентации Ярослав Соломенцев расскажет об имеющихся современных подходах к комплексированию нескольких сенсоров, в частности лидара и камеры.
Интеллектуальное управление робототехническими манипуляторами в материалах конференций ICRA и IROS | Андрей Городецкий, Даниил Пушкарев
Чт, 16 декабря 17:00
Применение моделей, обученных с помощью алгоритмов обучения с подкреплением, напрямую к управлению приводами робота может приводить к "дрожащему" движению и потере устойчивости. Это ограничивает практическое применение алгоритмов RL в задачах робототехники.
В докладе будет представлен обзор нескольких работ по обучению с подкреплением с ICRA 2021, которые пытаются преодолеть эти и другие проблемы и потенциально могут быть применены для управления манипуляционными роботами.
Вторая презентация будет посвящена интеллектуальным методы управления манипуляторами и планирования безопасных траекторий на основе нейросетей. Будет сделан обзор нескольких статей из этой области с конференций IROS & ICRA
Применение моделей, обученных с помощью алгоритмов обучения с подкреплением, напрямую к управлению приводами робота может приводить к "дрожащему" движению и потере устойчивости. Это ограничивает практическое применение алгоритмов RL в задачах робототехники.
В докладе будет представлен обзор нескольких работ по обучению с подкреплением с ICRA 2021, которые пытаются преодолеть эти и другие проблемы и потенциально могут быть применены для управления манипуляционными роботами.
Вторая презентация будет посвящена интеллектуальным методы управления манипуляторами и планирования безопасных траекторий на основе нейросетей. Будет сделан обзор нескольких статей из этой области с конференций IROS & ICRA
Обзор работ по нейросетевому трекингу объектов по RGB-D изображениям с конференций ICCV, ECCV, CVPR | Илья Башаров
Чт, 9 декабря 17:00
Современные нейросетевые алгоритмы успешно выполняют задачи локализации и индентификации. Однако они все еще недостаточно хорошо справляются с задачей обнаружения частично заслоненных, состоящих из многих частей и распределенных в пространстве объектов. Понимание окружающей сцены необходимо для выявления связей между объектами и более точного слежения.
Перспективно помимо RGB-данных использовать дополнительную информацию о трехмерном представлении среды в виде канала глубины, чтобы неявно генерировать вектора признаков окружающей сцены и по ним производить обнаружение и одновременный трекинг объектов.
На данном семинаре будут рассмотрены работы по нейросетевому трекингу объектов по RGB-D изображениям, представленных на конференциях ICCV, ECCV, CVPR и другим.
Современные нейросетевые алгоритмы успешно выполняют задачи локализации и индентификации. Однако они все еще недостаточно хорошо справляются с задачей обнаружения частично заслоненных, состоящих из многих частей и распределенных в пространстве объектов. Понимание окружающей сцены необходимо для выявления связей между объектами и более точного слежения.
Перспективно помимо RGB-данных использовать дополнительную информацию о трехмерном представлении среды в виде канала глубины, чтобы неявно генерировать вектора признаков окружающей сцены и по ним производить обнаружение и одновременный трекинг объектов.
На данном семинаре будут рассмотрены работы по нейросетевому трекингу объектов по RGB-D изображениям, представленных на конференциях ICCV, ECCV, CVPR и другим.
64-я Всероссийская научная конференция МФТИ | Доклады секции технологии искусственного интеллекта
Чт, 2 декабря 17:00
64-я Всероссийская научная конференция МФТИ – это образовательная площадка, которая включает в себя десятки секций по самым передовым направлениям современной науки. Конференция даст возможность вступить в активную научную среду, отточить мастерство выступления, рассказать о своей работе именитым ученым и не только. Лучшие доклады войдут в сборник «Труды МФТИ», включенный в перечень ВАК и индексируемый РИНЦ. А лучшие участники получат льготы при поступлении в магистратуру или аспирантуру.
Секция: https://conf.mipt.ru/view/conference/view_division/2702351
64-я Всероссийская научная конференция МФТИ – это образовательная площадка, которая включает в себя десятки секций по самым передовым направлениям современной науки. Конференция даст возможность вступить в активную научную среду, отточить мастерство выступления, рассказать о своей работе именитым ученым и не только. Лучшие доклады войдут в сборник «Труды МФТИ», включенный в перечень ВАК и индексируемый РИНЦ. А лучшие участники получат льготы при поступлении в магистратуру или аспирантуру.
Секция: https://conf.mipt.ru/view/conference/view_division/2702351
Обзор семантических методов Place Recognition и публикаций
по этой тематике c конференций CVPR и ICCV | Александр Мелехин
по этой тематике c конференций CVPR и ICCV | Александр Мелехин
Чт, 25 ноября 17:00
В ходе семинара будет сделан обзор семантических методов Place Recognition, используемых для локализации по RGB-D изображениям. Будет описана проблематика, сформулирована постановка задачи и приведен обзор ключевых работ в области. В том числе будут рассмотрены последние статьи с конференций CVPR и ICCV.
В ходе семинара будет сделан обзор семантических методов Place Recognition, используемых для локализации по RGB-D изображениям. Будет описана проблематика, сформулирована постановка задачи и приведен обзор ключевых работ в области. В том числе будут рассмотрены последние статьи с конференций CVPR и ICCV.
Обзор работ по многоагентному обучению с подкреплением с конференций IJCA 2021 и NeurIPS 2021 | Алексей Скрынник
Чт, 18 ноября 17:00
Поговорим про работы по многоагентному обучению с подкреплением с ведущих конференций. На IJCAI работ по MARL было не очень много, но они достаточно практичные: применение MARL для торговли энергией и управления автобусами. Конференция NeurIPS 2021 еще не началась, но список принятых статей уже известен, мы выберем и посмотрим интересные работы по MARL и подумаем над вопросами для их авторов.
Поговорим про работы по многоагентному обучению с подкреплением с ведущих конференций. На IJCAI работ по MARL было не очень много, но они достаточно практичные: применение MARL для торговли энергией и управления автобусами. Конференция NeurIPS 2021 еще не началась, но список принятых статей уже известен, мы выберем и посмотрим интересные работы по MARL и подумаем над вопросами для их авторов.
Современные методы 2.5D и 3D картирования | Кирилл Муравьев
Чт, 11 ноября 17:00
В докладе Кирилл сделает обзор современных методов построения 2.5D карт проходимости (карт высот) и 3D облаков точек с ведущих робототехнических конференций и журналов IROS, ICRA. Основное внимание будет уделено методам, имеющим программную реализацию, интегрированную в ROS.
В докладе Кирилл сделает обзор современных методов построения 2.5D карт проходимости (карт высот) и 3D облаков точек с ведущих робототехнических конференций и журналов IROS, ICRA. Основное внимание будет уделено методам, имеющим программную реализацию, интегрированную в ROS.
Single/multi motion planning with kinematic constrains & Инструменты работы с командными графами знаний и система RedForester |
Александр Петров, Зейн Али
Александр Петров, Зейн Али
Чт, 28 октября 17:00
На первом докладе Александр проведет краткий обзор современных прикладных инструментов работы с графами знаний (Roam, Obsidian и другие) и продемонстрирует проект RedForester - пространство для совместной интеллектуальной работы (Thinkspace), позволяющее визуально работать со знаниями и управлять проектами на их основе.
В основе решения лежит принцип построения командных графов знаний. Для их визуализации мы используем древовидные структуры (внешне похожие на Mindmap, но по факту отличающиеся от них как формально, так и с точки зрения использования на практике).
Основная решаемая задача: структурирование большого объема неорганизованных знаний, планов и коммуникаций (снижение сложности и хаоса в проекте).
Во втором докладе Зейн расскажет про методы решения проблемы поиска путей для мультиагентных систем (точнее мобильных роботов) с учетом кинематических ограничений роботов. Кинематические ограничения включают в себя скорость, ускорение и т.д. робота, в дополнение к динамике робота. А также сделает обзор нескольких современых публикаций с конференций IROS/ICRA/AAMAS и пр. В презентации большее внимание будет уделено оптимальным методам.
На первом докладе Александр проведет краткий обзор современных прикладных инструментов работы с графами знаний (Roam, Obsidian и другие) и продемонстрирует проект RedForester - пространство для совместной интеллектуальной работы (Thinkspace), позволяющее визуально работать со знаниями и управлять проектами на их основе.
В основе решения лежит принцип построения командных графов знаний. Для их визуализации мы используем древовидные структуры (внешне похожие на Mindmap, но по факту отличающиеся от них как формально, так и с точки зрения использования на практике).
Основная решаемая задача: структурирование большого объема неорганизованных знаний, планов и коммуникаций (снижение сложности и хаоса в проекте).
Во втором докладе Зейн расскажет про методы решения проблемы поиска путей для мультиагентных систем (точнее мобильных роботов) с учетом кинематических ограничений роботов. Кинематические ограничения включают в себя скорость, ускорение и т.д. робота, в дополнение к динамике робота. А также сделает обзор нескольких современых публикаций с конференций IROS/ICRA/AAMAS и пр. В презентации большее внимание будет уделено оптимальным методам.
Распознавание любых динамических объектов на изображениях
бортовых камер или облаках точек лидаров | Сергей Линок, Андрей Криштопик
бортовых камер или облаках точек лидаров | Сергей Линок, Андрей Криштопик
Чт, 21 октября 17:00
В ходе семинара будет сделан обзор подходов к распознаванию динамических объектов с использованием нейросетей, а также детектирование динамических объектов и определение их скоростей по данным различных датчиков с помощью аналитических методов.
В том числе будет проведен краткий обзор статей на ведущих конференциях CVPR, ICCV, IROS, ICRA - где сформулирована проблематика работы с произвольными объектами и предложены методы решения на основе комбинированного использования оптического потока, глубины и положения камеры на последовательности кадров.
В ходе семинара будет сделан обзор подходов к распознаванию динамических объектов с использованием нейросетей, а также детектирование динамических объектов и определение их скоростей по данным различных датчиков с помощью аналитических методов.
В том числе будет проведен краткий обзор статей на ведущих конференциях CVPR, ICCV, IROS, ICRA - где сформулирована проблематика работы с произвольными объектами и предложены методы решения на основе комбинированного использования оптического потока, глубины и положения камеры на последовательности кадров.
Kinodynamic Motion Planning | Брайн Ангуло
Чт, 14 октября 17:00
В последнее время применение обучения с подкреплением в задачах планирования вызывает всё больше интерес у исследователей. С одной стороны в задачах кинодинамического планирования требуется учитывать динамику робота (автомобиля), что сам по себе уже является трудной задачей, а с другой стороны необходимо избегать коллизию со статическими и динамическими препятствиями.
Классические методы планирования решают эти подзадачи по отдельности, однако методы на основе обучения с подкрепления обьединяют их в одно целое, что упрощает задачу в целом и позволяет давать более качественные и безопасные решения. Кроме того, благодаря развитию симуляторов для автономной навигации применение обучения с подкреплением в задачах планирования становится более перспективным.
В ходе семинара будет сделан обзор современных подходов применения обучения с подкреплением в задачах планирования, опубликованных в самых престижных концеренциях по робототехнике как IROS и ICRA. Также Брайн расскажет про исследования локального планирования на основе обучения с подкреплением в задачах парковки. Покажем текущие результаты и расскажем про дальнейшее направление наших исследований.
В последнее время применение обучения с подкреплением в задачах планирования вызывает всё больше интерес у исследователей. С одной стороны в задачах кинодинамического планирования требуется учитывать динамику робота (автомобиля), что сам по себе уже является трудной задачей, а с другой стороны необходимо избегать коллизию со статическими и динамическими препятствиями.
Классические методы планирования решают эти подзадачи по отдельности, однако методы на основе обучения с подкрепления обьединяют их в одно целое, что упрощает задачу в целом и позволяет давать более качественные и безопасные решения. Кроме того, благодаря развитию симуляторов для автономной навигации применение обучения с подкреплением в задачах планирования становится более перспективным.
В ходе семинара будет сделан обзор современных подходов применения обучения с подкреплением в задачах планирования, опубликованных в самых престижных концеренциях по робототехнике как IROS и ICRA. Также Брайн расскажет про исследования локального планирования на основе обучения с подкреплением в задачах парковки. Покажем текущие результаты и расскажем про дальнейшее направление наших исследований.
Современные методы распознавания зеркал и стекол на изображениях, опубликованные на ведущих научных конференциях CVPR и ICCV | Ди Ун Пак, Алексей Бурков, главный инженер лаборатории робототехники Сбер
Чт, 7 октября 17:00
Для надежного управления и построения карты автономными роботами проблемой является наличие прозрачных, стеклянных и зеркальных объектов в помещениях. Сенсоры робота (камеры или лидары) просто не видят подобных препятствий. Это затрудняет решение задачи навигации и создает угрозу столкновения. Решением такой проблемы активно занимается и Центр когнитивного моделирования МФТИ и в лаборатории робототехники Сбер.
В ходе семинара будет сделан обзор современных методов распознавания зеркал и стекол на изображениях, в том числе опубликованных на самых авторитетных конференциях по компьютерному зрению CVPR и ICCV. Отдельное внимание будет уделено новым открытым программным реализациям этих подходов.
Также Алексей расскажет про исследования сенсоров, с помощью которых можно локализовывать в пространсве оптически прозрачные объекты. Про результаты разработки технологии семантической сегментации стекол и зеркал с использованием визуальных трансформеров, полученные метрики. Покажем испытания на мобильном роботе.
Для надежного управления и построения карты автономными роботами проблемой является наличие прозрачных, стеклянных и зеркальных объектов в помещениях. Сенсоры робота (камеры или лидары) просто не видят подобных препятствий. Это затрудняет решение задачи навигации и создает угрозу столкновения. Решением такой проблемы активно занимается и Центр когнитивного моделирования МФТИ и в лаборатории робототехники Сбер.
В ходе семинара будет сделан обзор современных методов распознавания зеркал и стекол на изображениях, в том числе опубликованных на самых авторитетных конференциях по компьютерному зрению CVPR и ICCV. Отдельное внимание будет уделено новым открытым программным реализациям этих подходов.
Также Алексей расскажет про исследования сенсоров, с помощью которых можно локализовывать в пространсве оптически прозрачные объекты. Про результаты разработки технологии семантической сегментации стекол и зеркал с использованием визуальных трансформеров, полученные метрики. Покажем испытания на мобильном роботе.
Visual Question Answering: Применение Сценариев и Способ их Извлечения из Текста | Алексей Ковалев, Александр Корчемный
Чт, 30 сентября 17:00
В последнее время мультимодальные постановки задач привлекают всё больше исследователей. Пример такой мультимодальной задачи - ответ на вопрос по изображению (Visual Question Answering). На вход модели подается изображение и вопрос на естественном языке об изображении, а модель должна выдать ответ. Существует множество наборов данных для этой задачи (VQA, CLEVR, Visual Genome, VixWiz и др.), но основной объем вопросов в этих данных носит объектный характер. Вопросы спрашивают: о наличии\отсутствии конкретных объектов, их свойствах (цвет, размер, форма, вегетарианский продукт или нет и т.д.), отношении этих свойств, взаимном расположении и отношении объектов друг к другу (слева-справа, часть-целое и т.д.). Очевидно, что такие вопросы покрывают не всё многообразие доступных вариантов.
В наборе данных VCR (Visual Commonsense Reasoning) предлагается отвечать на вопросы о ситуациях (сцена в ресторане, ограбление банка, уличный перформанс, и д.р.) и давать объяснения этим ответам. Составители VCR предполагают, что при ответе на такие вопросы, должен использоваться «здравый смысл». В нашей работе мы предлагаем использовать в качестве «здравого смысла» типичные сценарии поведения людей в той или иной ситуации, выделяемые из текстов.
На семинаре мы конкретизируем постановку задачи, предложим способ выделения и хранения сценариев, которые могут быть использованы в VQA.
В последнее время мультимодальные постановки задач привлекают всё больше исследователей. Пример такой мультимодальной задачи - ответ на вопрос по изображению (Visual Question Answering). На вход модели подается изображение и вопрос на естественном языке об изображении, а модель должна выдать ответ. Существует множество наборов данных для этой задачи (VQA, CLEVR, Visual Genome, VixWiz и др.), но основной объем вопросов в этих данных носит объектный характер. Вопросы спрашивают: о наличии\отсутствии конкретных объектов, их свойствах (цвет, размер, форма, вегетарианский продукт или нет и т.д.), отношении этих свойств, взаимном расположении и отношении объектов друг к другу (слева-справа, часть-целое и т.д.). Очевидно, что такие вопросы покрывают не всё многообразие доступных вариантов.
В наборе данных VCR (Visual Commonsense Reasoning) предлагается отвечать на вопросы о ситуациях (сцена в ресторане, ограбление банка, уличный перформанс, и д.р.) и давать объяснения этим ответам. Составители VCR предполагают, что при ответе на такие вопросы, должен использоваться «здравый смысл». В нашей работе мы предлагаем использовать в качестве «здравого смысла» типичные сценарии поведения людей в той или иной ситуации, выделяемые из текстов.
На семинаре мы конкретизируем постановку задачи, предложим способ выделения и хранения сценариев, которые могут быть использованы в VQA.
Hierarchical Intrinsically Motivated Agent Planning Behavior with
Dreaming in Grid Environments | Петр Кудеров
Dreaming in Grid Environments | Петр Кудеров
Чт, 23 сентября 17:00
В исследованиях нашей команды мы в большей степени опираемся на биологически правдоподобные методы обучения и вычислительные нейробиологические модели. Такой подход может помочь найти ключевые шаги для построения автономных интеллектуальных агентов, способных решать широкий класс задач. В своем докладе я расскажу о нашей текущей работе, в которой мы предлагаем и исследуем иерархическую модель агента, действующего в незнакомой среде и движимого сигналом подкрепления.
В предложенной архитектуре мы используем: а) временную память для обучения разреженного представления состояний-действий и постепенного построения модели среды, а также б) модель базальных ганглий для обучения стратегии на разных уровнях абстракции.
Обученная модель среды используется нами для генерации сигнала внутренней мотивации в отсутствие внешней мотивации и как основа для способности агента оперировать в воображении. Мы тестируем нашу архитектуру на задаче поиска ресурсов в клеточных средах (в т.ч. 4 комнаты). В докладе я расскажу, каких результатов мы уже добились, какие есть сложности и открытые вопросы, а также обозначу перспективные направления для дальнейшего исследования
В исследованиях нашей команды мы в большей степени опираемся на биологически правдоподобные методы обучения и вычислительные нейробиологические модели. Такой подход может помочь найти ключевые шаги для построения автономных интеллектуальных агентов, способных решать широкий класс задач. В своем докладе я расскажу о нашей текущей работе, в которой мы предлагаем и исследуем иерархическую модель агента, действующего в незнакомой среде и движимого сигналом подкрепления.
В предложенной архитектуре мы используем: а) временную память для обучения разреженного представления состояний-действий и постепенного построения модели среды, а также б) модель базальных ганглий для обучения стратегии на разных уровнях абстракции.
Обученная модель среды используется нами для генерации сигнала внутренней мотивации в отсутствие внешней мотивации и как основа для способности агента оперировать в воображении. Мы тестируем нашу архитектуру на задаче поиска ресурсов в клеточных средах (в т.ч. 4 комнаты). В докладе я расскажу, каких результатов мы уже добились, какие есть сложности и открытые вопросы, а также обозначу перспективные направления для дальнейшего исследования
Reinforcement Learning in Navigation: Landmark Policy Optimization
for Object Navigation Task | Алексей Староверов
for Object Navigation Task | Алексей Староверов
Чт, 16 сентября 17:00
На семинаре Алексей расскажет о своей работе, в которой изучается задача навигации по объектной цели, заключающаяся в переходе к ближайшему объекту, относящемуся к заданной семантической категории в неизвестной среде.
Недавние работы показали значительные достижения как в подходе к сквозному обучению с подкреплением, так и в модульных системах, но для обеспечения надежности и оптимальности требуется большой шаг вперед. Мы предлагаем иерархический метод, включающий стандартную постановку задачи и дополнительные знания о местности в качестве ориентиров, с возможностью их извлечения.
В иерархии низкий уровень состоит из отдельно обученных алгоритмов для наиболее интуитивных навыков,
а высокий уровень решает, какой навык нужен в данный момент. Со всеми предлагаемыми решениями мы достигаем показателя успеха 0,75 в реалистичном симуляторе среды обитания Habitat. После небольшого этапа дополнительного обучения модели в реконструированной виртуальной зоне на тренажере, мы успешно подтвердили наши результаты на практике.
На семинаре Алексей расскажет о своей работе, в которой изучается задача навигации по объектной цели, заключающаяся в переходе к ближайшему объекту, относящемуся к заданной семантической категории в неизвестной среде.
Недавние работы показали значительные достижения как в подходе к сквозному обучению с подкреплением, так и в модульных системах, но для обеспечения надежности и оптимальности требуется большой шаг вперед. Мы предлагаем иерархический метод, включающий стандартную постановку задачи и дополнительные знания о местности в качестве ориентиров, с возможностью их извлечения.
В иерархии низкий уровень состоит из отдельно обученных алгоритмов для наиболее интуитивных навыков,
а высокий уровень решает, какой навык нужен в данный момент. Со всеми предлагаемыми решениями мы достигаем показателя успеха 0,75 в реалистичном симуляторе среды обитания Habitat. После небольшого этапа дополнительного обучения модели в реконструированной виртуальной зоне на тренажере, мы успешно подтвердили наши результаты на практике.