METHODOLOGY

方法论与口径

这份文档说明每个数字是怎么来的、哪些情况下会缺失、为什么不做综合总分,以及来源异常时页面会怎么表现。

1. 只展示原始分,不做二次加权

本站不构造“ModelRank 综合分”。文本综合、编程、Agent 使用 Artificial Analysis 的不同指数; 图像、视频、语音和音乐使用 Arena Elo。它们的分数量纲不同,加权相加没有可解释的含义。 因此每个榜独立展示,并明确标注指标、版本和日期。

排名是在同一榜单内部对原始分排序得到的派生结果,不改变分数本身。 若来源更新了分数,排名会随之变化;若来源没有更新,本站不会自行推算。

2. 六个核心榜

榜单指标单位来源
文本综合AA Intelligence IndexIndexAA(经 OpenRouter 镜像)
编程AA Coding IndexIndexAA(经 OpenRouter 镜像)
Agent / 工具调用AA Agentic IndexIndexAA(经 OpenRouter 镜像)
图像生成AA-Image-T2I EloEloAA
视频生成AA-Video-T2V EloEloAA
语音合成AA TTS EloEloAA

次级榜与专业领域指数来自同一批免费数据,不额外增加采集请求。 当某个来源不可用时,对应榜单会显示“暂不可用”,而不是用空数组或 0 分填充。

3. 排名与并列

使用竞争排名(competition ranking):分数相同则名次相同,下一位顺延。 例如 1、1、3,而不是 1、1、2。排序时先按分数降序,再按模型名称稳定排序,保证同一份数据每次构建结果一致。

Elo 榜附带 95% 置信区间。分差小于区间时,不宜把名次差解释为确定的能力差; 这种情况下建议同时考虑价格、速度、上下文和可用性。

4. 模型匹配

第三方来源使用不同的模型 ID 和命名。本站按以下优先级合并记录:

  1. 人工维护的显式 alias;
  2. 规范化后的完整 ID 或 slug 一致;
  3. 同厂商、同名称、同版本/限定词(如 high、low、thinking、free、batch);
  4. 同厂商 + 宽松名称;
  5. 全局唯一名称。

禁止跨厂商、跨模态、跨版本模糊合并。任何有歧义的记录宁可不合并,保留为“仅 AA”或“仅 OpenRouter”。 未匹配的模型仍会进入模型库,只是没有排名。匹配结果与原因保存在数据中,便于复核。

5. 价格

  • 价格统一表示为每 100 万 tokens;官方价按厂商定价页原币种录入并记录核实日期,OpenRouter 的字符串价格乘以 1,000,000 仅作参考价。
  • 未知或负值显示为“—”,不显示负数,也不参与排序。
  • 0 价标注“免费(限流)”,不承诺永久免费。
  • 缓存读取、缓存写入、批量价分别保留;默认价用于计算器。
  • 存在错峰价时标注“未计入”,不会自动套用最低价。
  • 国内模型优先使用官方 CNY 价格;美元折算按公开汇率计算,并明确注明是估算。

汇率人工维护在配置中,超过 7 天会在页面提示。实际账单可能包含缓存写入、 图片/音频计费、失败重试、税费和最低消费,本站的计算器不覆盖这些项目。

6. 新鲜度与降级

文本类数据超过 8 天、媒体类超过 14 天、价格超过 36 小时会标记为“已过期”。 任意来源刷新失败时:

  • 保留上一次成功数据,并把榜单标记为“降级”;
  • 不生成“模型消失”或“分数变成 0”的变化记录;
  • 在榜单页和来源页显示具体失败端点与最后成功时间;
  • 下一次成功刷新后自动恢复为“正常”。

AA 免费接口有每日请求上限,本站设置了 20 小时的最小刷新间隔和单次请求硬上限, 并在数据目录保存配额观测值。未配置 AA Key 时,文本类分数使用 OpenRouter 的 AA 镜像, 多模态榜保持不可用。

7. 异常保护

单个榜条目在一次刷新中减少超过 20%,或文本分单次变化超过 20 分、Elo 变化超过 100 分时, 构建会判定为异常,保留上一版该榜并标记降级,等待人工确认。 只有显式接受异常的构建才会发布新数据。这样可以避免上游解析错误或接口抖动直接污染线上页面。

8. 变化记录

每次发布与上一版比较,记录排名、分数、价格、新增与移除模型,以及来源降级/恢复。 首次发布记为基线;AA Index 版本变化时,生成一条“口径变更”,并抑制当次逐模型的分数变化, 避免把口径切换误读为模型能力突变。

9. 已知局限

  • 第三方榜单只覆盖部分模型,未收录不等于能力弱。
  • Arena Elo 衡量偏好,不直接衡量准确性、版权合规或安全性。
  • 价格快照可能滞后于官网,特别是国内厂商的促销和阶梯价。
  • 模型 ID 和路由会变化;改名通过别名表维护,历史页面可能短暂出现重复。
  • 本站不运行自己的评测,也不对第三方分数做统计显著性检验。

10. 纠错

如果发现模型匹配错误、价格过期或来源标注不准确,请通过关于页列出的方式反馈,并附上来源链接和日期。 价格类纠错优先采用官方定价页;排名类纠错以 Artificial Analysis 原始页面为准。