Перейти к основному содержанию
Нет одной модели, лучшей для всех рабочих нагрузок. GPT, Claude и Gemini — семейства моделей, а не постоянные категории качества или цены. Сравнивайте точные версии, доступные вашей учетной записи, на задачах приложения. По названию семейства нельзя установить точность, длину контекста, поддержку инструментов или условия обработки данных.

​
Составление списка кандидатов

Откройте каталог моделей и цены. Для каждого кандидата запишите точный ID, поддерживаемый метод, типы входных данных, существенные ограничения, группу, валюту и единицу оплаты. Проверьте доступ до подготовки оценки. Эта статья не поддерживает рейтинг цен и не обещает доступность конкретной модели. Не каждая модель семейства поддерживает все строки таблицы. Сначала отберите кандидатов по обязательным функциям, затем сравнивайте скорость и расходы.

​
Воспроизводимая оценка

Подготовьте небольшой представительный набор обезличенных примеров. Определите критерии приемки до просмотра ответов. Включите сложные случаи и желаемое поведение при недостатке информации. По возможности сохраняйте одинаковые инструкции и определения инструментов; все изменения под отдельную модель документируйте, чтобы не давать одному кандидату скрытого преимущества. Повторяйте одинаковые входы: генерация может меняться. Записывайте число принятых результатов, тайм-ауты, повторы, длину и задержки. В интерактивном продукте различайте время до первого фрагмента и до полного полезного ответа. Для инструментов оценивайте все ходы, а не только начальный ответ. Публичный тест помогает выбрать кандидатов, но не заменяет проверку на вашей задаче.

​
Подключение и учет использования

  1. Выберите кандидата с поддержкой чата и задайте его точный ID из каталога в ROCK_API_MODEL.
  2. Создайте ключ платформы на странице ключей API, сохраните его в ROCK_API_KEY и проверьте требования к балансу. Покупателю не нужны настройки каналов поставщиков.
  3. Полный базовый URL SDK — https://rockapi.ai/v1; curl использует адрес ниже. Сначала отправьте минимальный запрос, затем оценочные примеры.
Обе переменные нужно задать локально. Проверьте статус и тело, найдите соответствующий журнал в панели. При отказе сначала исключите проблемы авторизации и запроса по руководству об ошибках и лимитах, не смешивая их с качеством модели.

​
Стоимость полезного результата

Правила оплаты различают категории токенов, оплату за вызов, динамические уровни и множители групп. Не учитывайте кеш дважды и не применяйте уже включенный множитель повторно. В эксплуатационную оценку входят также повторы, все вызовы инструментов и проверка человеком.
Если ни один результат не принят, модель еще не достигла порога качества; низкая цена единицы это не исправляет. Указывайте объем выборки и условия вместе с выводом, не представляя локальный результат универсальным рейтингом. Выберите кандидата, выполняющего требования качества, задержки, бюджета и безопасности. Запасной вариант тоже следует проверить. Повторяйте оценку при изменении версии, цен, инструкций или условий сервиса; перед переносом трафика выполните проверки миграции.