Обнаружение, трекинг
и прогнозирование траектории движения 3D-объектов
и прогнозирование траектории движения 3D-объектов
Распознавание и анализ поведения трехмерных объектов по данным бортовых сенсоров транспортных средств и роботов является важнейшим аспектом для обеспечения безопасности их передвижения. В этой области все большую популярность набирают многомодальные и многозадачные нейронные сети.
Многомодальность предполагает одновременное использование на входе модели данных от разных источников (модальностей): лидаров, камер, радаров. Многозадачность подразумевает одновременное решение задач обнаружения, ассоциации и трекинга объектов, прогнозирования их траектории движения.
Многомодальность предполагает одновременное использование на входе модели данных от разных источников (модальностей): лидаров, камер, радаров. Многозадачность подразумевает одновременное решение задач обнаружения, ассоциации и трекинга объектов, прогнозирования их траектории движения.
Обзор работ по нейросетевому трекингу объектов по RGB-D изображениям ICCV, ECCV, CVPR | Илья Башаров
В данном направлении мы занимаемся исследованием быстрых нейросетевых методов анализа трехмерной сцены на основе данных бортовых сенсоров мобильных роботов и беспилотных автомобилей. Команда имеет большой опыт в исследовании и разработках методов сегментации и обнаружения объектов на изображениях и облаках точек лидара, алгоритмов трекинга и нейросетевого прогнозирования траектории движения объектов трехмерном пространстве.
Одним из важным элементов выполняемых проектов является тестирование разработанных подходов в симуляторах и на данных реальных роботов с применением операционной системы роботов ROS.
Одним из важным элементов выполняемых проектов является тестирование разработанных подходов в симуляторах и на данных реальных роботов с применением операционной системы роботов ROS.
- Сильная математическая подготовка (курсы математической статистики, дискретной математики, теории алгоритмов, аналитической геометрии)
- Понимание принципов машинного обучения
- Отличное знание Python
- Базовое владение фреймворками глубокого обучения PyTorch и/или Tensorflow
- Базовое знакомство с операционной системой роботов ROS
- Murhij, Y., Yudin, D. (2022) FMFNet: Improve the 3D Object Detection and Tracking via Feature Map Flow. IJCNN-2022
- Basharov, I., & Yudin, D. (2021). Real-time deep neural networks for multiple object tracking and segmentation on monocular video. The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 44, 15-20.
- Murhij, Y., & Yudin, D. (2021). Real-time 3D Object Detection using Feature Map Flow. arXiv preprint arXiv:2106.14101.
- Yudin, D. A., Skrynnik, A., Krishtopik, A., Belkin, I., & Panov, A. I. (2019). Object detection with deep neural networks for reinforcement learning in the task of autonomous vehicles path planning at the intersection. Optical Memory and Neural Networks, 28(4), 283-295
- Обзор работ по нейросетевому трекингу объектов по RGB-D изображениям ICCV, ECCV, CVPR | Илья Башаров
- Анализ методов предсказания траектории движения окружающих объектов | Василий Адешкин
- Waymo Сhallenge и повышение качества обнаружения трехмерных объектов | Юша Мурхиж, Александр Голодков, Алексей Шагойко
- Сергей Линок, Андрей Криштопик. Распознавание любых динамических объектов на изображениях бортовых камер или облаках точек лидаров
- Быстрые нейросетевые методы одновременного обнаружения, трекинга и прогнозирования движения 3D-объектов на основе данных камер и лидаров
- Нейросетевые методы обнаружения 3D-объектов по данным одной или нескольких камер
- Многозадачная сегментация сложноструктурированных сцен для эффективной работы с разными доменами данных