«Криптонит» научила нейросети Whisper и GigaAM распознавать смесь языков

«Криптонит» научила нейросети Whisper и GigaAM распознавать смесь языков

В современном мире переключение между языками в одном разговоре стало обычным явлением. Сотрудники международных компаний, специалисты из ИТ-сферы и пользователи в повседневном общении часто смешивают русский и английский языки. Однако для большинства автоматических систем распознавания речи такой формат диалога представляет серьезную сложность. Обычно алгоритмы фиксируют основной язык по первых фразам, а при спонтанных языковых переходах начинают допускать критические ошибки.

При изменении языка общения стандартные ИИ-модели ведут себя непредсказуемо. Некоторый софт пытается записать иностранные слова латиницей, сохраняя фоносемантику оригинала, другие системы подбирают похожие по звучанию слова из базового языка, полностью искажая смысл сказанного. Бывают случаи, когда модель вовсе игнорирует нераспознанные фрагменты аудиозаписи. Это существенно снижает качество автоматической транскрибации рабочего общения, звонков техподдержки и голосового ввода.

Решить эту проблему удалось специалистам лаборатории искусственного интеллекта российской компании «Криптонит». Исследователи разработали собственную методику дообучения популярных моделей транскрибирования речи. Новый подход обеспечивает высокую устойчивость алгоритмов к так называемому кодовому переключению, когда спикеры плавно меняют языковой регистр прямо в середине предложения или диалога.

Предложенный метод носит универсальный характер и легко интегрируется в существующие архитектуры распознавания речи. В частности, технологию уже успешно применили к таким распространенным нейросетям, как Whisper от OpenAI и отечественная GigaAM. Разработка позволяет сохранить точность распознавания текста даже при высокой частоте смены языков в аудиопотоке, что ранее требовало сложной ручной предобработки или использования нескольких узкоспециализированных систем.

Сфера применения нового метода охватывает любые сервисы, где требуется обработка аудиоданных со сложным контекстом. Методика пригодится при автоматическом составлении протоколов совещаний, расшифровке диалогов служб поддержки, создании мультиязычных голосовых помощников и анализе больших архивов корпоративных записей. Дообученные алгоритмы сделают голосовое управление и транскрибацию одинаково удобными как для моноязычной, так и для смешанной речи.

Пожалуйста, войдите, чтобы прокомментировать

0 комментариев