На взломанной PlayStation 5 запустили языковую модель Qwen с 27 млрд параметров

Разработчик под никнеймом abhi245y представил приложение PS5LM Plus, предназначенное для запуска крупных языковых моделей непосредственно на графическом процессоре игровой консоли PlayStation 5. В ходе тестов нейросеть Qwen с 27 миллиардами параметров демонстрирует скорость генерации около 20 токенов в секунду. Все необходимые вычисления устройство выполняет полностью локально, а отправлять текстовые запросы к модели пользователи могут через простой веб-интерфейс со смартфона или компьютера, находящегося в той же локальной сети.

В основе нового программного обеспечения лежит ранний проект PS5LM, созданный Мертом Кобановым. Ранее этот энтузиаст перенес на консоль популярный открытый движок llama.cpp, однако у той реализации был существенный недостаток. Система производила все расчеты исключительно на центральном процессоре, из-за чего скорость генерации ответов оставалась крайне низкой и непригодной для комфортного использования.

Автор модификации полностью переработал кодовую базу и оформил ее в виде полноценного приложения для PlayStation 5. Если фоновому модулю ранее были доступны лишь 6 гигабайт оперативной памяти без задействования графического ускорителя, то новая программа получила доступ к 12 гигабайтам видеопамяти консоли и мощностям самого GPU. Для этого все вычисления были переведены на Vulkan-бэкенд библиотеки ggml и специальный порт графического драйвера RADV.

Для успешного размещения модели в памяти разработчик применил квантованные версии файлов. В частности, вариант UD-IQ2_XXS занимает около 6,8 гигабайта и выдает скорость более 20 токенов в секунду. Кроме того, в тестах успешно участвовали другие известные модели, включая Gemma и Llama. Для сравнения, ранняя версия на центральном процессоре генерировала всего один токен в минуту из-за постоянной подгрузки данных с накопителя.

Приложение PS5LM Plus поддерживает работу с моделями в формате GGUF, которые можно загружать с внутреннего SSD, внешних накопителей или напрямую из репозитория Hugging Face. На экран телевизора во время работы выводятся детальные телеметрические данные: текущая скорость генерации, загрузка железа, энергопотребление и температура. Для полноценного использования необходима взломанная версия консоли с установленными эксплойтами.