Исследования | Определение позы и одометрии робота по изображениям его RGB-D камер

Определение позы
и одометрии робота
по изображениям его RGB-D камер

Под позой робота понимается его положение и ориентация в трехмерном пространстве. Понятие одометрии шире и включает также скорости (линейные и угловые), а также ускорение. Точное определение такого пространственного состояния важно для решения задачи локализации робота и дальнейшего планирования его поведения в трехмерном пространстве.

Семинар 6. Распознавание любых динамических объектов на изображениях бортовых камер

Сергей Линок, Андрей Криштопик

Особенно перспективно определение позы и одометрии робота с помощью нейросетевых моделей, анализирующих изображения от бортовых камер (монокулярных, стерео и RGB-D), которые являются наиболее дешевыми и распространенными сенсорами. В то же время современные методы SLAM (Simultaneous localization and mapping) не позволяют достаточно качественно решать такую задачу в сложных условиях освещения/видимости, при резких поворотах робота.

Решением является комплексирование данных от нескольких камер, инерциальных модулей, радаров, лидаров и т.п. Частным случаем, решающим задачу глобальной локализации робота, можно считать визуальное распознавание места (visual place recognition), использующее поиск по базе изображений и их нейросетевым векторным представлениям. Отдельное место в подобных задачах также часто занимают аналитические алгоритмы оптимизации позы камеры (группы камер).

В данном направлении мы занимаемся исследованием быстрых нейросетевых методов (в том числе трансформеров) для оценки одометрии по данным одной или нескольких бортовых камер. Отдельное направление исследований посвящено теме Place recognition по последовательности RGB-D изображений с учетом информации об их семантической сегментации. Тестирование разработанных подходов производится на открытых датасетах (KITTI, Oxfort RobotCar и т.д.) и на данных реальных роботов с применением операционной системы роботов ROS.

Staroverov, A., Yudin, D. A., Belkin, I., Adeshkin, V., Solomentsev, Y. K., & Panov, A. I. (2020). Real-time object navigation with deep neural networks and hierarchical reinforcement learning. IEEE Access, 8, 195608-195621
Abdrazakov, L., & Yudin, D. (2021, September). Neural Network Adaptation of the Kalman Filter for Odometry Fusion. In International Conference on Intelligent Information Technologies for Industry (pp. 44-54). Springer, Cham.
Kasatkin, N., & Yudin, D. (2021, October). Real-Time Approach to Neural Network-Based Disparity Map Generation from Stereo Images. In International Conference on Neuroinformatics (pp. 261-268). Springer, Cham.
Belkin, I., Abramenko, A., & Yudin, D. (2021). Real-time lidar-based localization of mobile ground robot. Procedia Computer Science, 186, 440-448.

Открытый фотореалистичный датасет HPointLoc и модульный фреймворк PNTR для решения задачи Place recognition по RGB-D изображениям https://github.com/cds-mipt/HPointLoc
Staroverov, A., Yudin, D. A., Belkin, I., Adeshkin, V., Solomentsev, Y. K., & Panov, A. I. (2020). Real-time object navigation with deep neural networks and hierarchical reinforcement learning. IEEE Access, 8, 195608-195621
Abdrazakov, L., & Yudin, D. (2021, September). Neural Network Adaptation of the Kalman Filter for Odometry Fusion. In International Conference on Intelligent Information Technologies for Industry (pp. 44-54). Springer, Cham.
Shepel, I., Adeshkin, V., Belkin, I., & Yudin, D. A. (2021). Occupancy Grid Generation With Dynamic Obstacle Segmentation in Stereo Images. IEEE Transactions on Intelligent Transportation Systems.
Kasatkin, N., & Yudin, D. (2021, October). Real-Time Approach to Neural Network-Based Disparity Map Generation from Stereo Images. In International Conference on Neuroinformatics (pp. 261-268). Springer, Cham.
Belkin, I., Abramenko, A., & Yudin, D. (2021). Real-time lidar-based localization of mobile ground robot. Procedia Computer Science, 186, 440-448.
Rezanov, A., & Yudin, D. (2020, October). Deep neural networks for ortophoto-based vehicle localization. In International Conference on Neuroinformatics (pp. 167-174). Springer, Cham.