Описание
При построении систем помощи водителю транспортных средств (ADAS) критичным является распознавание не только заранее известных категорий объектов-препятствий (например, людей, автомобилей, мотоциклов и тп), но и любых других объектов (positive obstacles), которые могут оказаться на дороге. Бывают также и так называемые «отрицательные препятствия» (negative obstacles), которые находятся ниже поверхности дороги (например, большие ямы, лужи, трещины) и которые нужно сегментировать на дорожной сцене.

Такая задача распознавания произвольных объектов (class-agnostic) может решаться в том числе с помощью сегментации дорожной сцены с последующим построением 2D, 2.5D или 3D карты проходимости на основе бортовых сенсоров (монокулярных, стерео, RGBD-камер, лидаров, радаров). Наиболее эффективным подходом к сегментации изображений или облаков точек являются нейросетевые методы, которые планируется разрабатывать и развивать в этом проекте.

В ходе проекта Вы поучаствуете в разработке и исследовании таких алгоритмов b моделей, а также бенчмарков для их валидации. Вы получите опыт как разработки ПО в рамках выполнения индустриального проекта, так и написания научной статьи.

Задачи исследования

• Сбор и автоматизированная разметка данных с бортовых сенсоров транспортных средств (лидаров и камер)
• Разработка методов комплексирования данных с нескольких сенсоров с учетом их перемещения
• Разработка нейросетевых моделей сегментации лидарных облаков точек
• Разработка нейросетевых методов сегментации изображений, в том числе с помощью мультимодальных моделей и VLM
• Разработка бенчмарка для тестирования алгоритмов распознавания