ХАКАТОН ОБРАЗОВАТЕЛЬНОГО ФОРУМА ПО МАТЕМАТИКЕ И ИСКУССТВЕННОМУ ИНТЕЛЛЕКТУ / ХАКАТОН RAAI SUMMER SCHOOL 2021
Локализуй робота на Физтехе
Локализуй робота на Физтехе
Задача предложена Центром когнитивного моделирования МФТИ
и ООО Интегрант
и ООО Интегрант
Описание задачи
Необходимо разработать решение по локализации мобильного робота Clearpath Husky (см. рисунок 1) по данным его бортовых видеокамер на территории кампуса МФТИ, в том числе с использованием нейронных сетей.
Под локализацией понимается определение пространственных координат робота на трехмерной карте кампуса МФТИ (см. рисунок 2).
Материалы:
Презентация хакатона на треке "RAAI Summer School 2021"
https://docs.google.com/presentation/d/1PdzHE5X7PAbwv_FEiN...
Лекция Юдина Д.А. на треке "Я-Профессионал"
https://docs.google.com/presentation/d/1V_GAO99hUg2CYXTcvExck3gKGTykugUKRBC-A8JbBB4/edit?usp=sharing
Презентация задачи от Белкина И.В. на треке "Я-Профессионал"
https://docs.google.com/presentation/d/1Pc5Q-deItzwS37-wg3FB5zbZObmgpgGPk8mcT-HC_HU/edit#slide=id.g7a2964d75d_0_47
Технические детали по набору данных, вспомогательные скрипты, базовые решения можно найти в репозитории: https://github.com/cds-mipt/iprofihack
Данные доступны для скачивания: https://bit.ly/3tsOpfD
Под локализацией понимается определение пространственных координат робота на трехмерной карте кампуса МФТИ (см. рисунок 2).
Материалы:
Презентация хакатона на треке "RAAI Summer School 2021"
https://docs.google.com/presentation/d/1PdzHE5X7PAbwv_FEiN...
Лекция Юдина Д.А. на треке "Я-Профессионал"
https://docs.google.com/presentation/d/1V_GAO99hUg2CYXTcvExck3gKGTykugUKRBC-A8JbBB4/edit?usp=sharing
Презентация задачи от Белкина И.В. на треке "Я-Профессионал"
https://docs.google.com/presentation/d/1Pc5Q-deItzwS37-wg3FB5zbZObmgpgGPk8mcT-HC_HU/edit#slide=id.g7a2964d75d_0_47
Технические детали по набору данных, вспомогательные скрипты, базовые решения можно найти в репозитории: https://github.com/cds-mipt/iprofihack
Данные доступны для скачивания: https://bit.ly/3tsOpfD
Рисунок 1. Мобильный робот ClearPath Husky c ZED-стереокамерой, 16-ти лучевым лидаром и манипулятором UR5, находящий в распоряжении Центра когнитивного моделирования МФТИ
Рисунок 2. Трехмерная карта кампуса МФТИ, построенная на основе данных 16-ти лучевого лидара
Необходимо по последовательности RGB-D изображений бортовой стереокамеры (т. е. камеры, генерирующей цветные изображений левой и правой камер, а также карту глубин, соответствующую левой камере ) определить траекторию движения робота. Истинное начальное положение робота известно.
Для разработки, обучения и отладки алгоритмов локализации участникам будет доступен обучающий набор данных, содержащий:
- левое изображение бортовой Zed камеры,
- правое изображение,
- карту глубин, соответствующую левому изображению,
- данные калибровки камер,
- истинные координаты камеры робота в системе координат карты (истинные координаты получены командой организаторов хакатона на основе данных бортового 16-ти лучевого лидара),
- информацию о моментах времени, в которые получены изображения и истинные координаты.
Также предоставляется тестовый набор данных, содержащий те же данные что и обучающий, за исключением истинных координат камеры робота. В нем имеется запись только о начальных координатах.
Также предоставляется трехмерная карта кампуса в виде облака точек.
Обучающий и тестовый набор сделаны в разное время суток. Траектория движения робота во время записи тестового набора близка к траекториям, содержащимся в обучающем наборе за исключением одного небольшого участка.
Для разработки, обучения и отладки алгоритмов локализации участникам будет доступен обучающий набор данных, содержащий:
- левое изображение бортовой Zed камеры,
- правое изображение,
- карту глубин, соответствующую левому изображению,
- данные калибровки камер,
- истинные координаты камеры робота в системе координат карты (истинные координаты получены командой организаторов хакатона на основе данных бортового 16-ти лучевого лидара),
- информацию о моментах времени, в которые получены изображения и истинные координаты.
Также предоставляется тестовый набор данных, содержащий те же данные что и обучающий, за исключением истинных координат камеры робота. В нем имеется запись только о начальных координатах.
Также предоставляется трехмерная карта кампуса в виде облака точек.
Обучающий и тестовый набор сделаны в разное время суток. Траектория движения робота во время записи тестового набора близка к траекториям, содержащимся в обучающем наборе за исключением одного небольшого участка.
Метрики по которым мы будем определять лучшее решение:
- Для оценки качества траектории движения робота, получающейся у участников, будет использоваться абсолютная ошибка траектории (Absolute Trajectory Error, ATE), которая вычисляется как средняя абсолютная ошибка определения координат x, y, z (вычисляемая как евклидово расстояние) для каждого из изображений тестовой выборки.
- Такая метрика является одной из общепризнанных для задач локализации робота в индустрии и научных исследованиях.
Базовое решение
Участникам будет предоставлено базовое решение по локализации робота на местности по изображениям из тестовой выборки с использованием данных из обучающей выборки. Оно основано на результатах работы глубоких нейронных сетей (см. рисунок 3).
Участникам будет доступен инструмент визуализации получающихся траекторий движения на тестовой и обучающей выборках на трехмерной карте кампуса МФТИ в операционной системе роботов (Robotic Operating System, ROS) с использованием RViz (см. видео).
Базовое решение и датасеты будут развернуты:
для трека "RAAI Summer School" - на сервере DGX НТУ "Сириус",
для трека "Я-Профессионал" - на сервере МФТИ с 8 графическими процессорами RTX2080Ti.
Базовое решение подготовлено совместно сотрудниками Лаборатории интеллектуального транспорта Центра когнитивного моделирования МФТИ и компанией ООО "Интегрант", специализирующейся на беспилотных технологиях и робототехнике.
Участникам будет доступен инструмент визуализации получающихся траекторий движения на тестовой и обучающей выборках на трехмерной карте кампуса МФТИ в операционной системе роботов (Robotic Operating System, ROS) с использованием RViz (см. видео).
Базовое решение и датасеты будут развернуты:
для трека "RAAI Summer School" - на сервере DGX НТУ "Сириус",
для трека "Я-Профессионал" - на сервере МФТИ с 8 графическими процессорами RTX2080Ti.
Базовое решение подготовлено совместно сотрудниками Лаборатории интеллектуального транспорта Центра когнитивного моделирования МФТИ и компанией ООО "Интегрант", специализирующейся на беспилотных технологиях и робототехнике.
Рисунок 3. Пример сопоставления изображений тестовой и обучающей выборок. Слева - изображение-запрос из тестовой выборки. Остальные три изображения - наиболее похожие изображения из базы изображений, построенной на основе обучающей выборки.
Видео. Инструмент визуализации в ROS: голубая точка - это истинное положение робота на карте из обучающей выборки.
Контакты с организатором хакатона
Ссылка на Telegram для информации и вопросов:
Трек "RAAI Summer School 2021":
https://t.me/lochack_sirius21
Трек "Я-Профессионал":
https://t.me/iprofiloc
Здесь будем выкладывать данные, отвечать на вопросы.
Трек "RAAI Summer School 2021":
https://t.me/lochack_sirius21
Трек "Я-Профессионал":
https://t.me/iprofiloc
Здесь будем выкладывать данные, отвечать на вопросы.
Организации-партнеры
Место проведения
Трек "RAAI Summer School 2021":
Сириус, Сочи
Сириус, Сочи
Трек "Я-Профессионал":
Московский физико-технический институт, Главный корпус, Зеленый читальный зал
Итоги Трека "Я-Профессионал"
Победителями трека стали команды NoneSquade (Смоляков Иван, Васильева Людмила, СПбПУ) и LGBM(T) (Маматин Денис, Пахомов Михаил, Безуглый Виталий, СФУ, СПбГУТ, НИЯУ МИФИ)