OpenAI 启动先锋计划，旨在重塑 AI 模型评分体系

GoodNav 4 月 10 日报道，OpenAI 宣布启动 OpenAI 先锋计划（OpenAI Pioneers Program），旨在改善当前 AI 模型的评估方式。该公司认为现有的 AI 基准测试存在缺陷，因此该计划将专注于建立能够“设定卓越标准”的评价体系。

随着 AI 技术在各行业的迅速应用，深入理解并增强其在现实世界中的影响力显得尤为重要。OpenAI 在其博客中提到，开发特定领域的评估指标是更好地反映实际应用环境、帮助团队在实际且高风险的情况下评估模型性能的有效方法之一。

近期，众包基准测试平台 LM Arena 与 Meta 的 Maverick 模型之间的争议暴露了一个问题：目前，人们难以清晰地区分不同 AI 模型的差异。许多常用的 AI 基准测试侧重于在一些冷门任务上的表现，例如解决博士级别的数学难题。此外，还有一些基准测试容易被操控，或与大多数人的偏好不符。

据了解，通过先锋计划，OpenAI 期望为法律、金融、保险、医疗保健和会计等特定领域开发基准测试。该实验室表示，在接下来的几个月中，将与“多家公司”合作设计定制的基准测试，并最终将这些测试公开，同时提供“行业特定”的评估。

OpenAI 在博客中提到，先锋计划的首批参与者将重点关注初创公司，这些公司将帮助奠定该计划的基础。他们将从大量初创公司中挑选出少数几家，专注于高价值、应用广泛的用例，AI 在其中可以带来实际影响。

参与该计划的公司还将有机会与 OpenAI 团队合作，通过强化微调技术来优化模型。这项技术可以针对特定任务组优化模型，从而提高其在特定领域的表现。

然而，一个关键问题是 AI 社区是否会认可由 OpenAI 资助的基准测试。此前，OpenAI 曾对基准测试工作提供过财政支持，并设计了自有的评估方法。但与客户的合作发布 AI 测试可能会被视为道德上的争议。