推理AI模型基准测试成本激增:评估一个或需近3000美元

评估成本的显著差异

根据第三方AI测试机构Artificial Analysis的数据，评估OpenAI的o1推理模型在七种流行基准测试上需花费2,767.05美元，而其非推理模型GPT-4o仅需108.85美元。这一显著差异引发了关于AI评估可持续性和透明度的讨论。

推理模型的开销

推理模型，即能够逐步"思考"问题解决方案的AI系统，虽然在特定领域表现出色，但其基准测试成本远高于传统模型。Artificial Analysis评估约十几个推理模型总计花费了5,200美元，几乎是分析80多个非推理模型花费（2,400美元）的两倍。

图源备注：图片由AI生成，图片授权服务商Midjourney

成本差异的原因

成本差异主要源于推理模型生成的大量标记。例如，o1在测试中生成了超过4400万个标记，约为GPT-4o的八倍。随着基准测试越来越复杂，评估现实世界任务的能力，加上顶级模型每单位标记成本的上涨（如OpenAI的o1-pro每百万输出标记收费600美元），独立验证这些模型性能变得极其昂贵。

评估的客观性问题

尽管一些AI实验室为基准测试机构提供免费或补贴访问，但专家担忧这可能损害评估的客观性。General Reasoning的CEO Ross Taylor质疑："从科学角度看，如果你发表了一个没人能用相同模型复制的结果，那它还能算是科学吗?"

YiAI团队

AI大模型技术专家团队

YiAI团队是一支专注于AI大模型应用的技术团队，由来自国内外知名科技公司的AI专家组成。 我们致力于为企业和开发者提供高质量、低成本的AI大模型API服务，涵盖文本生成、对话交互、 内容理解、知识问答等多个领域。团队拥有丰富的大规模语言模型开发和应用经验，深入理解 企业在AI落地过程中的实际需求和技术痛点。