Разработчики GigaChat представили профиль для Deep Agents с улучшенной обвязкой

Команда GigaChain, создающая инструменты для работы с нейросетями, представила обновлённую обвязку для модели GigaChat в проекте Deep Agents. Так называемая обвязка — это набор правил и шаблонов, которые помогают ИИ решать задачи: от написания кода до анализа данных. Разработчики не просто подстроили промпты и описания инструментов под особенности GigaChat, а частично зашили часть правил прямо в код. Это позволило точнее управлять поведением модели и избежать ошибок, которые возникают при чисто текстовом взаимодействии с нейросетью.

Для оценки эффективности новых подходов команда создала открытый бенчмарк harness-bench-fast. Он включает 391 задачу, на которых тестировалась обвязка. Результаты оказались впечатляющими: доля успешно решённых задач выросла с 77,2% до 87%, а расход токенов — единиц текста, которые модель потребляет для генерации ответа — сократился почти в два раза. Это означает, что система стала не только точнее, но и дешевле в использовании, что критически важно для задач, где требуется многократное обращение к модели.

Почему это важно? Deep Agents — это фреймворк для создания автономных агентов на базе больших языковых моделей. Такие агенты могут выполнять сложные процессы без постоянного контроля человека: например, проводить исследования, обрабатывать документы или даже писать программы. Однако их эффективность напрямую зависит от качества обвязки. Команда GigaChain показала, что грамотная настройка этого слоя позволяет существенно улучшить результаты без увеличения нагрузки на модель.

Публичный бенчмарк harness-bench-fast теперь доступен для всех желающих. Его можно использовать для тестирования других моделей и обвязок, а также для сравнения их производительности. Это первый шаг к стандартизации оценки таких систем, что поможет разработчикам выбирать оптимальные решения для своих задач. Команда уже планирует расширять набор задач в бенчмарке, чтобы сделать его ещё более универсальным.