> ## Documentation Index
> Fetch the complete documentation index at: https://docs.rockapi.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# AI 模型 API 对比：按任务评估 GPT、Claude 与 Gemini

> 用真实任务、质量门槛、延迟、功能验收和每个合格结果的成本比较模型 API，避免依赖固定价格榜单。

生产业务不存在对所有任务都最优的模型 API。GPT、Claude、Gemini 是模型家族，不是固定的性能或价格档位。应比较账户实际可用的具体版本，并用应用真实需要的任务验收；仅凭品牌无法判断准确率、上下文长度、工具支持或数据处理条款。

## 从当前目录建立候选清单

打开[模型目录与价格](https://rockapi.ai/pricing)，为每个候选记录完整 ID、支持端点、输入类型、相关限制、实际分组、币种和计价单位。先确认账户权限，再安排评测。本文不维护价格排名，也不保证特定型号对你的账户开放。

| 任务 | 使用什么输入 | 如何判定合格 |
| - | - | - |
| 客服回答 | 接近真实问题的样例及参考资料 | 答案正确、有依据，必要时转人工 |
| 分类 | 常见类别和模糊边界的标注样本 | 各类别错误率及输出结构有效性 |
| 摘要 | 不同长度的源文档 | 重点覆盖、事实一致及适当篇幅 |
| 编程 | 项目实际语言、依赖与约束 | 项目检查通过并获得评审认可 |
| 工具工作流 | 实际工具定义和失败场景 | 参数有效、工具选择正确、全流程完成 |
| 多模态 | 所支持格式的真实质量媒体 | 任务准确度和输入输出格式符合要求 |

不能把某个家族的个别型号能力推广到所有型号。先筛掉不满足必要功能的候选，再比较速度和费用。

## 让评估可以重复与解释

选取一组规模适当、经过脱敏且具有代表性的样本，在查看输出前约定合格标准。既要覆盖常见输入，也要包含难例和信息不足时应如何回答。尽量保持提示词、工具定义一致；若某个模型需要单独调整，应记录差异，不能暗中给某个候选更多辅助。

同一输入应运行多次，以观察生成结果的波动。记录合格数、超时、重试、输出长度和延迟。交互场景需要区分首次输出等待时间与获得完整可用答案的总耗时；工具任务应统计全部轮次，而非只看第一次回复。公开榜单可用于初筛，不能替代业务验收。

## 接入候选模型并核对用量

1. 选取支持聊天的候选，把目录中的完整 ID 设置为 `ROCK_API_MODEL`。
2. 在[API 密钥页面](https://rockapi.ai/keys)创建平台密钥，保存为 `ROCK_API_KEY`，并确认余额要求。普通买家不需要配置上游渠道。
3. SDK 使用完整 Base URL `https://rockapi.ai/v1`；curl 使用下方完整端点。先验证最小请求，再回放评测样本。

```bash theme={null}
curl --fail-with-body https://rockapi.ai/v1/chat/completions \
  -H "Authorization: Bearer $ROCK_API_KEY" \
  -H "Content-Type: application/json" \
  -d "{\"model\":\"$ROCK_API_MODEL\",\"messages\":[{\"role\":\"user\",\"content\":\"请回复你好。\"}]}"
```

运行前设置好两个本地变量。检查状态和正文，再找到控制台对应记录。请求失败时先按[错误与限流说明](https://docs.rockapi.ai/zh-cn/errors-and-rate-limits.md)排除鉴权或请求问题，不要直接归因于模型质量。

## 比较获得可用结果的成本

按[计费说明](https://docs.rockapi.ai/zh-cn/pricing-and-billing.md)区分 token 类别、按次计费、动态档位和分组倍率。避免重复计算缓存 token，也不要对已包含倍率的价格再次乘倍率。运营估算还应计入重试、多轮工具调用和人工复核。

```text theme={null}
每个合格结果的调用成本 = 评测请求最终结算总额 / 合格结果数
```

如果没有结果合格，该候选就尚未达到质量门槛，单价低不能改变这个结论。报告结果时附上样本数量与测试条件，避免把局部结果写成通用排名。

选定同时满足质量、延迟、预算和[安全要求](https://docs.rockapi.ai/zh-cn/security-and-privacy.md)的候选。备用模型同样需要测试，不能默认可以互换。模型版本、价格、提示词或条款变化后重新评估，生产迁移前完成[兼容验收清单](https://docs.rockapi.ai/zh-cn/blog/buyers/openai-compatible-api.md)。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.