Сравнение подходов сегментации и детекции объектов

Задача

• Проанализировать окружающую обстановку

Критерии выбора метода

Скорость выполнения

Занимаемая память

Точность

Полезность данных

Что такое детекция объектов, семантическая сегментация и сегментация объектов

• Классификация: в кадре находится шар
• Семантическая сегментация: в кадре находится шар или шары, вот их маска.
• Детекция объектов: в кадре находятся 7 шаров, вот зоны, где они располагаются.
• Объектная сегментация: В кадре находится 7 шаров, вот маски, где они располагаются

Схематические архитектуры

Классификатор

#

Сегментация

Детекция объектов

Объектная сегментация

Сети

• Faster-RCNN (resnet50) COCO 2017

• FCN (resnet101) COCO 2017

• DeepLab v3 (resnet101) COCO 2017

• DeepLab v3 (SqueezeNet 1.1) KITTI

• Mask-RCNN (resnet50) COCO 2017

Фреймворки и билиотеки

Потребление ресурсов

Точность сегментации (обнаружение машин)

IoU для сегментации машин без учета фона

Deep Lab (SqueezeNet) mean IOU error: 45.99%

FCN (resnet101) mean IOU error: 46.14%

Deep Lab (resnet101) mean IOU error: 53.23%

Mask RCNN (resnet50, пороги 0.9) mean IoU error: 39.39%

IoU с учетом фона

Deep Lab (SqueezeNet) mean IOU error: 0.66%

FCN (resnet101) mean IOU error: 0.47%

Deep Lab (resnet101) mean IOU error: 0.41%

Mask RCNN (resnet50, пороги 0.9) mean IoU error: 0.31%

Когда и что использовать

Несколько слов про фьюзинг и трекинг

Комплексирование данных с лидаром

LidarToCamera projection

Object detector to stereo fusion

Классификацию

• Необходимо распознать общий класс окружающий среды для выбора оптимальный претренированных сетей

Детекцию объектов

• Необходимо детектировать сам факт присутствия объекта (дор. знаки)
• Искомый объект всегда подходит под прямоугольную форму (можно комплексировать)
• Точность комплексирования не важна
• Нужен трекинг объекта

Сегментацию

• Необходимо использовать sensor fusion с датчиками, дающими информацию о 3D пространстве
• Необходимо находить объекты большой площади на кадре
• Разделение на сущности не важно

Объектную сегментацию

• Необходимо получать данные с высокой достоверностью
• Искомые объекты можно разделить на сущности
• Позволяют аппаратные ресурсы
• Нужен трекинг объекта

Спасибо за внимание!