В качестве базового решения Вам предоставляется алгоритм на основе state-of-the-art подхода Minkloc++, кодирующий входные данные двух модальностей (изображения с передней и задней камеры, облака точек лидара), в вектор-дескриптор для последующего сравнения с дескрипторами в базе данных. Для использования масок семантической сегментации изображений и их текстового описания изображений Вам предлагается применить существующие или обучить свои энкодеры изображений/текста.
Для обучения и тестирования решений участникам предоставляется новый открытый набор данных ITLP-Campus, который состоит из 5 треков, записанных на территории кампуса МФТИ зимой и весной 2023 года в разное время суток и в разных погодных условиях. Траектории проезда робота по кампусу при записи набора данных были близки друг к другу.