DeepSeek V4 Flash в 2-битном формате на RTX PRO 6000: тесты показали неожиданные результаты

Несколько недель назад в одном из экспериментов я сравнивал производительность модели Qwen3.8-27B на арендованной видеокарте RTX PRO 6000 с серверным API DeepSeek V4 Flash. Тогда локальный запуск показался быстрее, а значит, экономически выгоднее. Однако комментарии читателей подтолкнули к вопросу: а что, если DeepSeek V4 Flash установить на ту же самую RTX PRO 6000, но в максимально сжатом виде — с квантованием до 2 бит на параметр? Такой подход обещал снизить нагрузку на память и ускорить обработку, но могли ли потери в качестве быть оправданными? Решил проверить на практике.

Для теста использовались те же условия, что и раньше: бенчмара лии-code-bench-ru из 50 задач, замороженный сид и ансамбль из трёх судей (Gemini 2.5 Pro, GPT-5.1 и Opus 4.8). DeepSeek V4 Flash в базовой конфигурации имеет 284 миллиарда параметров, но при квантовании до UD-IQ2_XXS часть экспертов сжимается до 2 бит, а маршрутизатор и общие слои остаются в более стабильном 8-битном или 16-битном формате. Важно, что такое сжатие не приводит к пустым ответам или артефактам — модель продолжает генерировать текст осмысленно.

Первый запуск DeepSeek с квантованием дал результат 0,681 балла по шкале судей, что казалось выше любого локального аналога на тот момент. Однако позже выяснилось, что оценка проводилась только с одним судьёй (Gemini), а не полным ансамблем. Это была ошибка: разные судьи используют разные шкалы, поэтому сравнивать результаты, полученные на одном судье, с результатами на ансамбле нельзя. Пересчёт с полным ансамблем показал 0,697 балла. Но и это оказалось не окончательным результатом — старые записи хранили более высокий показатель Qwen3.8 (0,789), который просто не был замечен сразу из-за усталости от экспериментов. Получалось, что DeepSeek в 2-битном формате всё же уступает лучшим локальным альтернативам по качеству, но сохраняет преимущество в скорости.

Второй поворот в эксперименте произошёл при тестировании моделей Ornith. Две версии — Ornith-9B и Ornith-35B-A3B (последняя — это Mixture-of-Experts с активными параметрами около 3 миллиардов на токен) — изначально не смогли пройти бенч из-за ошибок доступа к API судей. Оказалось, что лимит оставшихся кредитов на платформе OpenRouter был почти исчерпан (456,5 из 460 долларов), хотя счётчик ключей показывал запас. Пришлось пополнить баланс и перезапустить тесты. После этого Ornith-9B показала результат на 12 задачах из 50 с нулевыми оценками по всем судьям, но повторный прогон исправил ситуацию.

Ornith-35B-A3B, которую я тестировал впервые, стала одной из самых интересных находок. При 2-битном квантовании она набрала 0,729 балла — всего на 0,06 меньше, чем DeepSeek V4 Flash в оригинальном API-варианте, но при этом скорость декодирования была в 4,4 раза выше: 236,5 токена в секунду против 53,3. Однако по абсолютным показателям до лидеров Qwen3.8 ей не хватило 4 задач. Тем не менее, для узких задач, например, планирования или ревьюинга кода, такая модель может стать отличным выбором — быстрая, компактная и достаточно точная.

Во время тестов обратил внимание на странную задержку при первом токене (TTFT) у DeepSeek V4 Flash в 2-битном формате: от 14 до 23 секунд. Долго думал, что дело в «reasoning»-модели, которая долго «думает», прежде чем ответить. Оказалось, что проблема в параметре –parallel: в эксперименте использовалось четыре параллельных запроса, но модель была настроена работать только с одним слотом для максимального контекста. Поздние запросы в пачке ждали своей очереди, накапливая задержку. После переключения в режим последовательной обработки (–parallel 1) TTFT упал до 239 миллисекунд — лучший показатель среди всех четырёх протестированных моделей на этой карте. Qwen3.8, к примеру, давала 827 мс.

Потери в качестве при 2-битном квантовании DeepSeek V4 Flash составили всего 0,034 балла и 7 задач по сравнению с полной точностью. Судьи отметили, что модель начала чаще выдумывать несуществующие данные о производительности связок и давать рекомендации, противоречащие условиям задач — классический эффект сильного сжатия маршрутизируемых экспертов. Тем не менее, для домашних ИИ-систем, где скорость важнее идеальной точности, такой компромисс выглядит оправданным. В ближайшее время планирую использовать DeepSeek V4 Flash IQ2 на RTX PRO 6000 как планировщик или ревьюер, а Ornith-35B-A3B — как исполнителя для менее критичных задач.