Энтузиасты воспроизвели метод дистилляции однобитной модели Bonsai

Энтузиасты и разработчики продолжают искать способы запуска масштабных языковых моделей на обычных пользовательских видеокартах с ограниченным объёмом видеопамяти. В качестве примера можно привести нейросеть с 27 миллиардами параметров: в стандартном 16-битном представлении для её размещения требуется около 54 ГБ памяти. Однако перенос весов в однобитный формат позволяет сократить этот объём примерно до 4 ГБ, сохраняя один общий масштаб на группу из 128 весов.

Главной проблемой экстремального сжатия является сохранение точности работы алгоритмов. Простое округление весов до знака приводит к тому, что модель полностью теряет работоспособность и выдает некорректный результат. Команда PrismML представила решение этой проблемы в архитектуре Bonsai, где задействована особая схема хранения весов внутри трансформерных блоков с сохранением адекватности ответов.

Создатели Bonsai опубликовали формат данных, выложили оптимизированные вычислительные ядра для фреймворков llama.cpp и MLX, а также простой инструмент для квантизации. При этом сам метод получения весов остался нераскрытым. Это подтолкнуло независимых исследователей к попыткам самостоятельно восстановить секретную процедуру подготовки модели.

Первые попытки применить послойную квантизацию завершились неудачей, выдав нерабочую систему с высокой перплексией. Успеха удалось добиться благодаря тщательному сопоставлению весов Bonsai и оригинальной модели Qwen3-1.7B. Анализ показал, что ключ кроется в процессе специального обучения, после чего исследователю удалось самостоятельно обучить полноценную однобитную нейросеть.

Успешный опыт воспроизведения дистилляции демонстрирует возможность запуска архитектур с десятками миллиардов параметров на устройствах со скромной видеопамятью. Снижение объёма необходимых ресурсов в десятки раз приближает эпоху, когда мощные языковые модели будут работать локально даже на недорогих потребительских видеокартах и ноутбуках.