VoXtream научила нейросеть говорить по-русски с задержкой в 74 мс

Команда исследователей из Королевского технологического института Швеции (KTH) представила обновлённую версию тексто-речевого синтезатора VoXtream, способную генерировать речь на русском языке с задержкой всего в 74 миллисекунды. Новая модель VoXtream2 не только поддерживает мультиязычность, но и обещает революционизировать работу голосовых ассистентов и систем синхронного перевода, где критически важна скорость реакции. В отличие от традиционных TTS-систем, обрабатывающих текст целиком, VoXtream2 способна начинать речь буквально с первого символа, сохраняя при этом естественность интонации и темпа — это достигается за счёт инкрементального анализа входного текста и особой архитектуры, где три трансформера работают в связке с нейрокодеком Mimi.