Описание
В последнее время всё больший интерес исследователей и индустрии вызывают алгоритмы активного очувствления, которые позволят роботу выбирать поведение, которое может увеличить объем информации об области (объекте) интереса из потока данных.

Например, это могут быть алгоритмы фокусирования на области интереса в пределах изображения или облака точек, алгоритмы наблюдения за областью интереса с движением шеи/головы/тела робота, алгоритмы движения в область интереса. Эта тематика является междисциплинарной, объединяющей как нейросетевые подходы компьютерного зрения, так и современные методы управления роботами, в том числе, основанные на обучении с подкреплением.

В ходе проекта Вы поучаствуете в разработке и исследовании таких алгоритмов, а также бенчмарков для их валидации. Вы получите опыт как разработки ПО в рамках выполнения индустриального проекта, так и написания научной статьи.


Задачи исследования

• Сбор и автоматизированная разметка данных в симуляторах в симуляторах Habitat 2.0/3.0, AI2-Thor, с бортовых сенсоров транспортных средств (RGB-D-камер)
• Разработка нейросетевых методов сегментации изображений
• Разработка трансформерных архитектур одновременной сегментации изображений и генерации действий интеллектуального агента
• Разработка бенчмарка для тестирования разрабатываемых моделей