Слабая LLM с проверкой кода обгоняет мощную модель без верификации

В последние недели в сообществе разработчиков ИИ активно обсуждается метрика Cost per Task — стоимость решения одной задачи. Оказалось, что самая недорогая модель из линейки иногда опережает по эффективности самую «умную», если сравнивать их по этой метрике. Автор статьи согласился с выводом, но отметил, что в оригинальном материале упущен важный нюанс: роль не только модели, но и процесса, который следует за генерацией кода.

Автор уже восемь месяцев экспериментирует с агентной обвязкой, в которой языковая модель не просто генерирует файлы, а обязана доказать их работоспособность. После генерации кода запускается автоматический набор тестов, проверяющий корректность выполнения, а при любой ошибке модель получает обратную связь и должна исправить результат. Такой «честный» цикл верификации превращает процесс в интерактивный диалог, где каждый шаг проверяется, а не принимается на веру.

Результаты экспериментов удивительны. При подключении верификационного цикла к слабой модели (например, GPT‑3.5‑turbo) она стабильно превосходит более продвинутую модель (GPT‑4) в показателе Cost per Task. По данным автора, средняя стоимость решения типичной задачи снижается почти вдвое, а время до первого успешного результата сокращается на 30 %. Архитектура решения построена на Docker‑контейнерах, которые изолируют каждый запуск кода, а система тестов покрывает как синтаксические, так и логические ошибки.

Для практикующих разработчиков такие выводы имеют прямое значение. Вместо того чтобы инвестировать в более дорогие модели, можно построить простой, но надёжный цикл проверки, который гарантирует, что сгенерированный код действительно работает. Это особенно актуально для компаний, где масштабные автоматизированные генераторы кода становятся частью CI/CD‑процессов. В дальнейшем ожидается, что подобные подходы станут стандартом для всех LLM‑агентов, снижая затраты и повышая надёжность автоматизированных решений.