Сбер выпустил нейросеть Kandinsky Avatar 1.0 для создания говорящих видеоперсонажей

Сбер выпустил нейросеть Kandinsky Avatar 1.0 для создания говорящих видеоперсонажей

Команда Сбера представила новую нейросетевую разработку под названием Kandinsky Avatar 1.0. Эта модель способна превращать обычное изображение в полноценного анимированного персонажа, который не только произносит заданный текст, но и демонстрирует соответствующую мимику, жесты и повороты головы. Проект распространяется по открытой лицензии MIT, что позволяет сторонним разработчикам бесплатно использовать технологию в своих продуктах, встраивать её в сервисы или дообучать под специфические задачи без необходимости создания алгоритмов с нуля. В основе решения лежит архитектура Kandinsky 5.0 Video, для тренировки которой использовался массивный датасет из более чем одного миллиона видеофрагментов, включающий материалы на 95 языках мира.

Разработчикам предложены две версии модели: Lite с 2 миллиардами параметров для генерации видео в стандартном разрешении и более мощная Pro-версия с 21 миллиардом параметров, работающая с HD-контентом. Технические требования к аппаратному обеспечению довольно высоки: для комфортной работы Pro-версии рекомендуется использовать видеокарты NVIDIA с 80 ГБ видеопамяти. Впрочем, разработчики предусмотрели возможность оптимизации через декодирование кадра по частям, что позволяет снизить требования к VRAM до 28 ГБ, хотя это может привести к появлению визуальных артефактов на стыках участков изображения.

Функциональность Kandinsky Avatar позволяет задавать манеру общения и эмоциональный окрас с помощью текстовых промптов. Это открывает широкие возможности для создания автоматизированных видеоинструкций, учебных материалов, рекламных роликов и персонализированных обращений к клиентам. В качестве исходного материала для анимации может выступать практически любое изображение: от фотографий реальных людей до отрисованных иллюстраций персонажей мультфильмов или антропоморфных животных, что делает инструмент универсальным для креативных задач.

В ходе сравнительного слепого тестирования Kandinsky Avatar 1.0 Pro показала высокую эффективность, опередив ряд популярных рыночных решений. Согласно данным Сбера, пользователи отдавали предпочтение результатам работы их модели чаще, чем видеороликам от таких конкурентов, как Kling Avatar 2 или HeyGen IV. В настоящий момент исходный код и веса модели уже доступны для загрузки на профильных площадках, включая GitHub, GitVerse и Hugging Face. Кроме того, обеспечена интеграция с востребованными инструментами для запуска нейросетей, такими как ComfyUI и Diffusers, что значительно упрощает порог входа для специалистов.

Пожалуйста, войдите, чтобы прокомментировать

0 комментариев