Обнаружение, трекинг
и прогнозирование траектории движения 3D-объектов
Распознавание и анализ поведения трехмерных объектов по данным бортовых сенсоров транспортных средств и роботов является важнейшим аспектом для обеспечения безопасности их передвижения. В этой области все большую популярность набирают многомодальные и многозадачные нейронные сети.

Многомодальность предполагает одновременное использование на входе модели данных от разных источников (модальностей): лидаров, камер, радаров. Многозадачность подразумевает одновременное решение задач обнаружения, ассоциации и трекинга объектов, прогнозирования их траектории движения.
Обзор работ по нейросетевому трекингу объектов по RGB-D изображениям ICCV, ECCV, CVPR | Илья Башаров
В данном направлении мы занимаемся исследованием быстрых нейросетевых методов анализа трехмерной сцены на основе данных бортовых сенсоров мобильных роботов и беспилотных автомобилей. Команда имеет большой опыт в исследовании и разработках методов сегментации и обнаружения объектов на изображениях и облаках точек лидара, алгоритмов трекинга и нейросетевого прогнозирования траектории движения объектов трехмерном пространстве.

Одним из важным элементов выполняемых проектов является тестирование разработанных подходов в симуляторах и на данных реальных роботов с применением операционной системы роботов ROS.
Необходимые умения
  • Сильная математическая подготовка (курсы математической статистики, дискретной математики, теории алгоритмов, аналитической геометрии)
  • Понимание принципов машинного обучения
  • Отличное знание Python
  • Базовое владение фреймворками глубокого обучения PyTorch и/или Tensorflow
  • Базовое знакомство с операционной системой роботов ROS
Завершенные проекты/публикации
  • Basharov, I., & Yudin, D. (2021). Real-time deep neural networks for multiple object tracking and segmentation on monocular video. The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 44, 15-20.
  • Murhij, Y., & Yudin, D. (2021). Real-time 3D Object Detection using Feature Map Flow. arXiv preprint arXiv:2106.14101.
  • Yudin, D. A., Skrynnik, A., Krishtopik, A., Belkin, I., & Panov, A. I. (2019). Object detection with deep neural networks for reinforcement learning in the task of autonomous vehicles path planning at the intersection. Optical Memory and Neural Networks, 28(4), 283-295
Темы исследовательских проектов
  • Нейросетевые методы обнаружения 3D-объектов по данным одной или нескольких камер
  • Быстрые нейросетевые методы одновременного обнаружения, трекинга и прогнозирования движения 3D-объектов на основе данных камер и лидар