ХАКАТОН ОБРАЗОВАТЕЛЬНОГО ФОРУМА ПО МАТЕМАТИКЕ И ИСКУССТВЕННОМУ ИНТЕЛЛЕКТУ / ХАКАТОН RAAI SUMMER SCHOOL 2021

Локализуй робота на Физтехе
Задача предложена Центром когнитивного моделирования МФТИ
и ООО Интегрант
Описание задачи
Необходимо разработать решение по локализации мобильного робота Clearpath Husky (см. рисунок 1) по данным его бортовых видеокамер на территории кампуса МФТИ, в том числе с использованием нейронных сетей.

Под локализацией понимается определение пространственных координат робота на трехмерной карте кампуса МФТИ (см. рисунок 2).


Материалы:

Презентация хакатона на треке "RAAI Summer School 2021"
https://docs.google.com/presentation/d/1PdzHE5X7PAbwv_FEiN...

Лекция Юдина Д.А. на треке "Я-Профессионал"
https://docs.google.com/presentation/d/1V_GAO99hUg2CYXTcvExck3gKGTykugUKRBC-A8JbBB4/edit?usp=sharing

Презентация задачи от Белкина И.В. на треке "Я-Профессионал"
https://docs.google.com/presentation/d/1Pc5Q-deItzwS37-wg3FB5zbZObmgpgGPk8mcT-HC_HU/edit#slide=id.g7a2964d75d_0_47

Технические детали по набору данных, вспомогательные скрипты, базовые решения можно найти в репозитории: https://github.com/cds-mipt/iprofihack

Данные доступны для скачивания: https://bit.ly/3tsOpfD

Рисунок 1. Мобильный робот ClearPath Husky c ZED-стереокамерой, 16-ти лучевым лидаром и манипулятором UR5, находящий в распоряжении Центра когнитивного моделирования МФТИ
Рисунок 2. Трехмерная карта кампуса МФТИ, построенная на основе данных 16-ти лучевого лидара
Необходимо по последовательности RGB-D изображений бортовой стереокамеры (т. е. камеры, генерирующей цветные изображений левой и правой камер, а также карту глубин, соответствующую левой камере ) определить траекторию движения робота. Истинное начальное положение робота известно.

Для разработки, обучения и отладки алгоритмов локализации участникам будет доступен обучающий набор данных, содержащий:
- левое изображение бортовой Zed камеры,
- правое изображение,
- карту глубин, соответствующую левому изображению,
- данные калибровки камер,
- истинные координаты камеры робота в системе координат карты (истинные координаты получены командой организаторов хакатона на основе данных бортового 16-ти лучевого лидара),
- информацию о моментах времени, в которые получены изображения и истинные координаты.

Также предоставляется тестовый набор данных, содержащий те же данные что и обучающий, за исключением истинных координат камеры робота. В нем имеется запись только о начальных координатах.

Также предоставляется трехмерная карта кампуса в виде облака точек.

Обучающий и тестовый набор сделаны в разное время суток. Траектория движения робота во время записи тестового набора близка к траекториям, содержащимся в обучающем наборе за исключением одного небольшого участка.


Метрики по которым мы будем определять лучшее решение:

  • Для оценки качества траектории движения робота, получающейся у участников, будет использоваться абсолютная ошибка траектории (Absolute Trajectory Error, ATE), которая вычисляется как средняя абсолютная ошибка определения координат x, y, z (вычисляемая как евклидово расстояние) для каждого из изображений тестовой выборки.
  • Такая метрика является одной из общепризнанных для задач локализации робота в индустрии и научных исследованиях.
Базовое решение
Участникам будет предоставлено базовое решение по локализации робота на местности по изображениям из тестовой выборки с использованием данных из обучающей выборки. Оно основано на результатах работы глубоких нейронных сетей (см. рисунок 3).

Участникам будет доступен инструмент визуализации получающихся траекторий движения на тестовой и обучающей выборках на трехмерной карте кампуса МФТИ в операционной системе роботов (Robotic Operating System, ROS) с использованием RViz (см. видео).

Базовое решение и датасеты будут развернуты:
для трека "RAAI Summer School" - на сервере DGX НТУ "Сириус",
для трека "Я-Профессионал" - на сервере МФТИ с 8 графическими процессорами RTX2080Ti.

Базовое решение подготовлено совместно сотрудниками Лаборатории интеллектуального транспорта Центра когнитивного моделирования МФТИ и компанией ООО "Интегрант", специализирующейся на беспилотных технологиях и робототехнике.


Рисунок 3. Пример сопоставления изображений тестовой и обучающей выборок. Слева - изображение-запрос из тестовой выборки. Остальные три изображения - наиболее похожие изображения из базы изображений, построенной на основе обучающей выборки.
Видео. Инструмент визуализации в ROS: голубая точка - это истинное положение робота на карте из обучающей выборки.
Контакты с организатором хакатона
Ссылка на Telegram для информации и вопросов:
Трек "RAAI Summer School 2021":
https://t.me/lochack_sirius21
Трек "Я-Профессионал":
https://t.me/iprofiloc

Здесь будем выкладывать данные, отвечать на вопросы.
Организации-партнеры
Место проведения
Трек "RAAI Summer School 2021":
Сириус, Сочи

Трек "Я-Профессионал":

Московский физико-технический институт, Главный корпус, Зеленый читальный зал

Итоги Трека "Я-Профессионал"
Победителями трека стали команды NoneSquade (Смоляков Иван, Васильева Людмила, СПбПУ) и LGBM(T) (Маматин Денис, Пахомов Михаил, Безуглый Виталий, СФУ, СПбГУТ, НИЯУ МИФИ)