Разработчики ускорили инференс YOLOv8 до 215 кадров в секунду без участия CPU

Разработчики ускорили инференс YOLOv8 до 215 кадров в секунду без участия CPU

При обработке видеопотоков современными нейросетями узким местом системы часто становится не вычислительная мощность графического ускорителя, а инфраструктура конвейера данных. При использовании INT8-квантования выполнение моделей занимает единицы миллисекунд, из-за чего многократная пересылка видеокадров высокого разрешения между центральным и графическим процессором по шине PCIe существенным образом снижает общую производительность.

Для решения этой проблемы предложена архитектура Zero-Host-Copy на C++ и CUDA, позволяющая полностью исключить участие CPU из так называемого горячего цикла обработки. В этом подходе все этапы — от чтения исходного видеофайла с диска и его декодирования до финального кодирования и сохранения результатов — выполняются исключительно внутри видеопамяти GPU. Данные не копируются обратно в оперативную память системы, что минимизирует накладные расходы на шине PCIe.

Ещё одним скрытым фактором снижения эффективности является динамическое выделение памяти во время работы конвейера. Обычные вызовы выделения видеопамяти приводят к неявной синхронизации, из-за которой центральный процессор вынужден простаивать в ожидании видеокарты. Чтобы избежать этого, архитектура делится на три последовательные фазы: инициализацию, прогрев и активную работу. На этапе инициализации заранее создаются все пулы памяти и очереди, во время прогрева система адаптирует объёмы буферов, а в горячей фазе вызовы динамического выделения полностью блокируются.

Практическая реализация такого конвейера на bare-metal C++ без применения фреймворка NVIDIA DeepStream показала впечатляющие результаты. При обработке тяжелой модели YOLOv8m с разрешением 1024 на 1024 пикселя и INT8-квантованием производительность достигла от 165 до 215 кадров в секунду на потребительской видеокарте NVIDIA GeForce RTX 3060 Ti. Даже на компактной встраиваемой платформе NVIDIA Jetson Orin Nano Super скорость составила около 38 кадров в секунду.

Подобные методы оптимизации становятся ключевыми для создания высоконагруженных систем компьютерного зрения в реальном времени. Исключение промежуточных копирований и неявных синхронизаций позволяет по максимуму задействовать аппаратный потенциал современных графических ускорителей, гарантируя стабильную частоту кадров при анализе сложных видеопотоков.

Пожалуйста, войдите, чтобы прокомментировать

0 комментариев