Студенты НИУ ВШЭ и VK создали лёгкую диффузионную модель FastWave для аудио‑BWE

Команда студентов Инженерно‑математической школы НИУ ВШЭ совместно с исследователями AI‑подразделения VK объявила о завершении проекта FastWave — первой в России лёгкой диффузионной модели, предназначенной для восстановления недостающих высокочастотных компонентов звука (Bandwidth Extension, BWE). Инициатива возникла из необходимости улучшить качество аудио‑потоков без увеличения битрейта, что особенно актуально для мобильных сервисов и онлайн‑трансляций.

FastWave построена на принципах диффузионных генеративных моделей, но в отличие от типичных решений, её архитектура содержит лишь 1,3 млн параметров. Для обучения использовалась большая коллекция студийных записей, преобразованных к низкой частоте дискретизации 16 кГц, после чего модель училась предсказывать недостающие спектральные детали, восстанавливая оригинальное звучание до 48 кГц.

Тесты показали, что модель способна обрабатывать 30‑секундный аудиофрагмент в реальном времени на обычном ноутбуке с процессором Intel i5 и графикой интегрированной Intel Iris Xe, а на GPU среднего уровня (RTX 3060) время инференса сокращается до 0,15 секунды. По сравнению с традиционными BWE‑алгоритмами, FastWave улучшает спектральный SNR на 3–4 дБ и сохраняет естественную тембральную структуру.

Такой уровень производительности открывает новые возможности для сервисов потокового аудио, видеоконференций и приложений для людей с нарушениями слуха, где требуется быстрое повышение частоты дискретизации без потери качества. Кроме того, компактный размер модели упрощает её внедрение в мобильные и встраиваемые устройства, где ресурсы ограничены.

Разработчики планируют опубликовать открытый код и обучающие наборы, чтобы сообщество могло проверить и расширить возможности FastWave. В дальнейшем команда рассматривает интеграцию модели в реальные продукты VK, а также совместные исследования с другими академическими группами для дальнейшего снижения параметров и повышения качества восстановления.