Исследователи провели практическое сравнение официального API от OpenAI и сторонних маршрутизаторов OpenRouter и TeamoRouter. Главной целью эксперимента стала проверка гипотезы о том, что посредники могут подменять оригинальную модель на более дешевые аналоги при выполнении сложных длительных задач. Для тестирования была выбрана модель gpt-6-astra, перед которой поставили задачу полного анализа дистрибутива настольного помодоро-таймера Pomotroid на базе Electron и его повторной реализации.
В отличие от простых синтетических тестов вроде генерации SVG-графики, новая задача требовала полноценной работы с проектом. ИИ-модель должна была в изолированном Linux-окружении через Docker разобрать архив приложения, изучить логику его работы, написать рабочий код, запустить тесты и исправлять возникающие ошибки. От системы требовалось воссоздать логику таймера, включая паузы, сбросы, переключение между рабочими циклами и перерывами, а также сохранение пользовательских настроек. На втором этапе от модели потребовалось добавить функционал импорта и экспорта данных в формате JSON.
Результаты автоматического тестирования показали, что с базовой логикой и новыми функциями успешно справились приложения, созданные через все три сервиса. Каждая реализация набрала максимальные 70 баллов из 70 возможных в автопроверках. Однако детальный анализ метрик выявил существенные различия в поведении провайдеров, затраченном времени и итоговых финансовых расходах на выполнение идентичных инструкций.
Маршрутизатор OpenRouter продемонстрировал показатели, наиболее близкие к оригинальному API OpenAI. Он выполнил задачу за 27 запросов и потребовал $5.71, в то время как напрямую через OpenAI было сделано 29 запросов общей стоимостью $5.82. Время сдачи базовой версии составило около 6,5 минут в обоих случаях. Подобная схожесть в количестве токенов и вызовов инструментов подтверждает, что OpenRouter действительно использует оригинальную нейросеть без подмены.
Сервис TeamoRouter показал иную динамику: он сделал 33 запроса, израсходовал больше выходных токенов и потратил на выполнение работы на четыре минуты больше. Тем не менее из-за более низких тарифов итоговая стоимость задачи через TeamoRouter составила всего $1.67, что позволило сэкономить более четырех долларов по сравнению с конкурентами. Таким образом, выбор провайдера зависит от приоритетов разработчика: для максимальной скорости подходит оригинальный API, а для экономии бюджета — альтернативные сервисы.




Подписаться
Уведомления о новых комментариях пока не подключены.
Пожалуйста, войдите, чтобы прокомментировать
0 комментариев