Привести цены к общей основе
Данные модели смотрите в каталоге Rock API. Руководство по биллингу разделяет базовую ставку, коэффициент потребления группы и платёж для получения баланса. Общая скидка на все модели или запросы не гарантируется.
Условный расчёт токенов
Следующие числа — только допущения для арифметики, а не предложение Rock API или сравнение поставщиков. Пусть обычный вход стоит 2 USD за миллион токенов, выход — 6 USD, коэффициент группы — 1,2. При миллионе входных и 200 тысячах выходных токенов, без кеша и прочих начислений:Сопоставить варианты на одинаковых условиях
Для прямого доступа проверьте официальные цены OpenAI, Anthropic или Gemini API на нужную модель и условия. Для шлюза изучите выбранный маршрут и условия сервиса вместе с ценой токенов. OpenRouter описывает кеширование у поддерживаемых поставщиков и моделей. LiteLLM документирует самостоятельно размещаемый прокси: включите инфраструктуру и обслуживание. Для Portkey уточните нужное размещение и план. Эти сведения сами по себе не показывают, какой сервис дешевле на вашей нагрузке.Уменьшить потребление, сохранив качество
- Создайте приёмочный набор с типовыми задачами, языками, схемами вывода и сложными случаями.
- Испытайте меньшую модель на обычных задачах и оставьте переход к другой модели при ненадёжном результате.
- Сократите повторяющийся контекст и запрашивайте нужную продукту длину ответа. После изменения промпта проверьте правильность.
- При поддержке кеша испытайте стабильные префиксы, измеряя чтение отдельно от записи. Не предполагайте попадание в каждом запросе.
- Ограничьте повторы и запишите причины. Считайте всю задачу, а не только последний удачный вызов.
- Перед ростом трафика сравните окончательную стоимость принятого результата, задержку и объём ручной проверки.
