Sonnet 5.5 или GPT-6 Sol: как выбрать модель для кода и оценить расходы

Claude Sonnet 5.5 и GPT-6 Sol разумно сравнивать для повседневного программирования, но нет доказательств, что одна модель дешевле для любой задачи в репозитории. Стандартный ввод/вывод Sonnet в Claude API стоит 2/10 долларов за миллион токенов. У GPT-6 Sol совпадают стандартные тарифы для короткого контекста; длинный контекст рассчитывается отдельно. Одинаковые ставки не означают одинакового расхода токенов или доли успешных решений.

Руководство рассчитано на разработчиков, выбирающих модель для конкретного исправления, небольшой функции или этапа ревью. Оно опирается на официальные документы и независимую стартовую оценку, проверенные 29 сентября 2026 года. Это не собственный сравнительный тест Ofox. Для выбора модели под свой репозиторий используйте предложенную методику, а не воспринимайте таблицу лидеров как гарантию результата в production.

Сначала сравните условия работы

Источники: спецификация Sonnet, документация GPT-6 Sol и цены OpenAI. Одинаковые названия effort у разных разработчиков намеренно не приравниваются друг к другу.

Что даёт стартовая оценка

Artificial Analysis описывает сильные результаты Sonnet 5.5 на высоких уровнях effort и одновременно большой расход выходных токенов. В анализе соотношения затрат и возможностей уровень high у Sonnet оказался близок к одной из конфигураций Sol, тогда как другие настройки выглядели менее выгодно. Это повод включить обе модели в пробный запуск, а не выбирать по одному максимальному баллу.

Авторы также сообщают о тестировании предварительного развёртывания Sonnet с ошибкой структурированного вывода и планируемом повторе соответствующих оценок. Эту оговорку нельзя опускать. Графики разработчиков, разные наборы тестов и результаты старого развёртывания нельзя соединять так, словно все прогоны имели одинаковые задачи и условия.

Для команды важнее конкретный вопрос: какая конфигурация выдаёт приемлемое исправление на её задачах в пределах бюджета? Терминальный бенчмарк отражает часть возможностей агента, но не измеряет время ревьюеров, правила проекта или стоимость дополнительного отката релиза.

Проведите ограниченное сравнение на коде

Возьмите несколько типичных задач вместо одной эффектной демонстрации: регрессию с известным падающим тестом, функцию с явными критериями приёмки и ревью с заранее внесённой ошибкой. Определите ожидаемый результат до просмотра ответов. Не включайте в материалы секреты production.

Для каждой попытки:

1. Начинайте с одинакового чистого коммита и одинаковых разрешений инструментов.
2. Передавайте одно описание задачи, инструкции репозитория и одинаковые файлы.
3. Фиксируйте точную модель, effort, доступ через API или подписку, версию клиента и дату.
4. Выполняйте одинаковые тесты и проверяйте итоговый diff, включая посторонние изменения.
5. Сохраняйте расход токенов, категории кэша, повторы, время выполнения и время ручного ревью.

Успех после трёх повторов не равен успеху с первой попытки только потому, что итоговые патчи похожи. При этом одной неудачи недостаточно, чтобы объявить модель неспособной решать задачу. Публикуйте число и характер задач, а не только имя победителя.

Пример, в котором дешёвый запрос обходится дороже

Допустим, попытка стоит 0,10 доллара, и десять попыток дают десять принятых задач. Стоимость принятого результата — 0,10 доллара. Если другая конфигурация делает двадцать попыток по 0,07 доллара для тех же десяти задач, результат стоит 0,14 доллара. Это синтетические числа, а не измерения Sol или Sonnet.

Так меньшая сумма за отдельный запрос может проиграть после повторов. Отдельно сохраняйте число нерешённых задач: если постоянно исключать сложные неудачные случаи из расчёта, дешёвая модель будет выглядеть эффективнее, чем есть в действительности.

В интерактивной работе важно и время. Измеряйте путь до приемлемого патча, а не только токены в секунду. Быстрый первый ответ, запускающий ещё один цикл отладки, способен замедлить выполнение всей задачи.

Что именно дают одинаковые тарифы

При фиксированных 50 000 входных токенов без кэша и 3 000 оплачиваемых выходных стандартный расчёт короткого контекста одинаков: $0.10 + $0.03 = $0.13. Здесь объём намеренно зафиксирован, чтобы сравнить ставки. Это не прогноз, что обе модели выдадут по 3 000 токенов, завершат работу за один ход и решат её одинаково. Поэтому нужны два отдельных показателя: стоимость фиксированного расхода и измеренная стоимость принятой задачи.

Длинный вход меняет первый показатель. Для 300 000 входных и 5 000 выходных токенов правило Sol при входе свыше 272K применяет $4/$15 ко всему запросу: $1.20 + $0.075 = $1.275. По опубликованным стандартным $2/$10 для Sonnet получается $0.60 + $0.05 = $0.65. Это расчёты по прайсам вендоров, без кэша, отдельных инструментов и нестандартных вариантов сервиса. Они показывают разницу ставок в заданных условиях, а не преимущество качества Sonnet. И не означают, что нужно отправлять 300K: удаление ненужного контекста может улучшить и бюджет, и проверяемость.

Полезно подготовить два входа по разные стороны порога Sol. Запишите вход, фактически посчитанный провайдером, а не оценку по размеру файла. Повышенный тариф действует на весь запрос, не только на лишние токены. Поэтому небольшое добавление истории может влиять сильнее, чем несколько лишних слов ответа. Перед жёстким включением порога в бюджетную логику перепроверьте действующую документацию.

С какой модели начать конкретную работу

Следующие рекомендации — редакционные отправные точки на основе стоимости интеграции и проверяемости. Это не рейтинг по неопубликованному тесту.

Для регрессии передайте падающий тест, наблюдаемый результат и ожидаемое поведение. Полезный ответ меняет реализацию и сохраняет остальное поведение. Простая замена ожидаемого значения в тесте не исправляет ошибку. Для новой функции заранее определите, входят ли обратная совместимость, доступность интерфейса и миграция данных. Иначе сравнение вознаградит модель, которая самовольно сузила задачу.

Для ревью смешайте подтверждённые дефекты с корректными изменениями. Считайте не только обнаружение проблемы и проверяемое объяснение, но и ошибочные обвинения в адрес правильного кода. Больше комментариев не обязательно полезнее: пять предположений могут отнять больше времени, чем одна точная находка. Уверенность самой модели не является независимым подтверждением.

Одинаковая задача не требует одинакового JSON

Справедливое сравнение не означает отправку идентичного JSON в несовместимые API. Сохраните задание, исходники, доступные действия и критерии приёмки, но корректно реализуйте нативную форму каждого API. На границе адаптера преобразуйте объявления инструментов и результаты. Сохраняйте идентификаторы связи вызова с ответом, проверяйте несколько вызовов, ошибки и финальный текст.

Разрешения инструментов — часть эксперимента. Если одна модель запускает тесты, а другая только читает файлы, укажите это. Для внешних побочных действий используйте изолированный набор данных или безопасную заглушку с обеих сторон. Не отправляйте настоящие письма, не меняйте рабочие записи и не публикуйте пакет ради реалистичности теста.

Формат ответа и качество модели также диагностируются отдельно. Сначала убедитесь, что адаптер принял ответ, извлёк нужное содержимое и правильно вернул результаты инструментов. Затем оценивайте патч. Невалидный клиентский запрос говорит о готовности интеграции, а не о неспособности модели решить задачу. В эксплуатационные расходы он входит, но в оценке способности должен быть отдельно обозначен.

Таблица результатов и правило выбора

Записывайте каждую попытку: ID задачи, исходный commit, конфигурацию, стоимость, время, тесты, вердикт проверяющего и категорию неудачи. Отдельно сводите все попытки по задаче. Для десяти задач пишите «8/10 принято», а не только «80%»: малый знаменатель важен. Повторите наиболее нестабильные случаи до широких выводов. Небольшой локальный пилот помогает принять решение о внедрении, но не устанавливает статистически надёжный всеобщий рейтинг.

Синтетический пример: конфигурация A завершила 9 из 10 задач за $2.70, B — 8 из 10 за $2.00. На принятую задачу приходится $0.30 и $0.25. Но если пропущенная B задача блокирует миграцию релиза, меньшая средняя цена не решает выбор. Рядом со средним покажите категории отказов, а для критических задач оставьте отдельное требование завершения. И наоборот: более дорогой вариант, который лишь удлиняет объяснения без новых принятых результатов, трудно оправдать.

Определите правило до чтения ответов. Например, все критические регрессии должны проходить, посторонних изменений быть не должно, а суммарная проверка должна укладываться в текущий процесс; цена решает только среди прошедших этот фильтр вариантов. Другой продукт может ставить во главу угла задержку диалога. Это требования продукта, не факты вендора. Публикуйте правило вместе с будущими результатами, чтобы читатель видел границы применимости.

Смена имеет и стоимость сопровождения. Время разработки нового адаптера распределяйте по ожидаемому объёму, не выдумывая часовую ставку и не пряча труд в токенный счёт. При малом использовании надёжная интеграция бывает важнее нескольких центов на задачу. При большом объёме даже небольшая измеренная экономия может оправдать переход. Ни один вывод нельзя получить только из входного тарифа.

С какой модели начинать

Если в приложении уже хорошо проверен цикл инструментов Claude, пробный запуск Sonnet может потребовать меньше изменений клиента, чем переход на другое семейство API. Но требования миграции на 5.5 всё равно нужно проверить. Если процесс уже построен на инструментах OpenAI, Sol естественно сохранить как исходную конфигурацию сравнения. Это оценка затрат на интеграцию, а не рейтинг способностей.

Начните с модели, для которой существующая интеграция позволяет провести контролируемый тест. Переключайтесь, когда другая улучшает измеренный показатель: стоимость принятого результата, время, качество патча или конкретную частоту ошибок. Не превращайте такое сравнение в общий рейтинг всех флагманов.

Руководство по стоимости Sonnet разделяет ввод, вывод и кэш. Для выбора внутри Claude есть Sonnet 5.5 против Opus 5.5, а руководство Sol/Luna/Astra по задачам рассматривает уровни OpenAI шире.