我为什么离开 OpenAI？六年元老 Miles Brundage 发离职长文：AGI 将至，我们远没准备好

为何一位在职 6 年的元老选择离开公司的行列？Miles Brundage，曾在 OpenAI 作为高级顾问，最近发表了一篇长文，深入探讨了自己对 AGI 未来的思考和感受。

OpenAI 的员工流失现象仍在继续。

不久前，Miles Brundage 这位在 OpenAI 工作了 6 年的研究主管，发布长文正式宣布离职，并详细说明了自己的离开原因。

作为一家成立于 2015 年的年轻 AI 独角兽，OpenAI 如今不过 9 岁，因此在这里工作了多年的 Brundage 自然被视为“元老”，他见证了 OpenAI 的发展历程及其起伏。

在博文开头，Brundage 强调为 OpenAI 的高层和董事会提供建议，为 AGI 的未来做准备，是他梦寐以求的工作。2015 年 OpenAI 刚成立时，他曾兴奋到彻夜未眠，写下了一篇博文，阐述这个组织的重要性。

原文链接：https://www.milesbrundage.com/blog-posts/archives/12-2015

因此，离开 OpenAI 对他来说并非易事。为了有更多时间研究自己认为重要的议题，Brundage 决定加入（甚至自己创办）非营利组织，专注于 AI 政策研究与倡导。

Miles Brundage 毕业于乔治华盛顿大学，本科期间曾担任美国能源部的特别助理，后在亚利桑那州立大学攻读博士，研究人类与科技的社会维度，并在牛津大学担任 AI 政策研究员的博士后。

2018 年，Miles Brundage 加入刚成立 3 年的 OpenAI 担任政策研究科学家，并在 2021 年晋升为研究主管，目前是 AGI 准备工作的高级顾问。

为何离开 OpenAI

总体而言，Brundage 的离开是希望能够从行业外部影响 AI 的发展，这与今年 Geoffrey Hinton 离开谷歌的原因相似，主要考虑因素如下：

机会成本

本职工作几乎占据了他所有的时间，使得 Brandage 感到难以从事自己重视的研究。处在行业外时，某些研究能够更加具备影响力和说服力。

此外，OpenAI 的成就已然显著，成果发布前需经过多方审查，很多主题的文章无法顺利发表。

需要指出的是，Brundage 并非完全反对 OpenAI 的出版审查立场，他认为行业内存在出版限制是合理的，他也参与了 OpenAI 政策的多个版本的编写，但当前公司施加的限制确实过多。

减少偏见

选择成为某个组织的一员，并与同事密切合作，公正性往往很难维持。

Brundage 表示，尽管他努力追求公正，但仍无法避免偏见的存在。在 OpenAI 的工作本身也会影响外界对他观点和研究的看法，尤其是在与财务利益相关的情况下，外界对他政策想法的质疑是可以理解的。

在涉及政策讨论时，更多独立的声音至关重要，而 Brundage 计划成为这些声音之一。

在 OpenAI，能做的都做了

自入职以来，Brundage 认为自己在“AGI 准备状态高级顾问”一职上已完成了大部分工作。

他认为“AGI 准备状态”主要包括两方面：一是 OpenAI 要做到管理逐渐强大的 AI 能力，二是整个世界也需为有效管理 AI 能力做好准备，包括对 OpenAI 和其他公司的监管。

对于前者，Brundage 已详细向 OpenAI 的高管和董事会说明了他认为公司需要采取的措施及存在的差距；而对于后者，他相信自己在 OpenAI 外部能更有效地推动相关工作。

虽然离开后会失去一些在 OpenAI 的影响力，但 Brandage 仍希望能更深入地影响整个生态系统。

AGI，我们都没准备好

Brundage 指出，对于即将到来的 AGI，无论是 OpenAI 还是其他前沿实验室，世界都尚未做好准备。

原文链接：https://medium.com/@miles_24227/scoring-humanitys-progress-on-ai-governance-5a5131cb84c7

然而，他并不认为这一“不准备”的状态与 OpenAI 领导层的声明相悖；同时他也暗示，尽管与理想标准之间存在巨大差距，但仍可以在适当的时候走上正轨。为此，Brundage 将在自己余下的职业生涯中专注于人工智能政策的研究。

科技企业和社会是否走上 AGI 准备的道路，取决于许多复杂因素，包括安全文化如何随时间演化、监管对组织激励的影响、AI 能力与安全方面所面临的各种挑战等。

在此，Brundage 特别肯定 OpenAI 最近新增董事会成员的举措，包括前陆军上将 Paul M. Nakasone 和 CMU 机器学习系主任 Zico Kolter，这表明了朝着正确方向迈进的一步。

此外，Brundage 还指出，“AGI”一词已承载太多意义，更多的是一种二元思维，而不具实际意义。因此，他认为“为 AGI 做好准备”应解释为“安全、可靠且有益地开发、部署和管理日益强大的 AI 系统”。

近期，他与团队致力于完善OpenAI 提出的 AGI 五级框架，并计划近期发表相关论文，该框架曾被彭博社报道，引发争议。

尽管 Brundage 对 AI 政策持谨慎和批判的态度，但他对 AGI 前景的预测可以称为“技术乐观主义者”，与硅谷风险投资家 Khosla 的观点也颇为一致。

他认为，在不久的未来，人工智能可能实现足够的经济增长。如果我们能制定适当的政策，确保公平分配，全人类可以享有更高的生活水平，甚至提早享受退休生活。

然而，在此之前，AI 很可能会以自动化的方式夺走一些迫切需要工作的人的机会，尤其是那些可远程完成的工作。

其实，人类最终应当挣脱为谋生而工作这一束缚，这也为构建 AI 和 AGI 提供了有力论据之一。长远来看，虽然一些人仍可能继续工作，但那种迫切的义务感将不再存在。

一个“后工作世界”的风险在于文明可能停滞（类似于电影《机器人总动员》中表现的情景），但当前我们在政治、文化等方面尚未做好准备，亟需更多的思考、讨论和政策探讨。

电影《机器人总动员》（WALL-E）是由皮克斯制作、迪士尼出品，上映于 2008 年

许多人已展望过“AI 造福人类”的美好未来，这些展望多来自善意而非阴谋论。然而，目前面临的效率低下问题，主要源于社会和政府在技术领域缺乏专业知识，以及缺乏良好的规范和理论基础。

例如，在出现问题后，我们是否应期待市场机制能提出解决方案？何时应构建定制化、适用范围狭窄的 AI 解决方案，何时又应提升通用 AI 系统的能力？在各种情况下，继续补充现有技术是否奏效，或是推动全新技术的创造等，都是需要认真考虑的问题。

要不要在 OpenAI 工作

关于“是否要在 OpenAI 工作”的问题，听上去有些凡尔赛，类似于“选斯坦福还是 MIT”的选择。

但如果你正在拿到 offer，正在犹豫是去 OpenAI 还是谷歌 DeepMind，Miles Brundage 的经验或许能为你解答这道甜蜜的难题。

在 OpenAI 工作是很多人渴望实现的影响力之一，因此在大多数情况下，答案是肯定的。

鉴于每个人的技能和机会不同，很难做出统一的判断，但可以肯定的是—— OpenAI 每一个职位，以及个人对待工作的态度，对组织文化的贡献皆至关重要。

在迈向更强大 AI 的旅程中，每一次产品的推出都具有重要意义，如影响行业规范与公众对 AI 的认知与监管方式。

在 OpenAI 工作，无论是 AI 安全性、可靠性，还是 AI 能力与产品研究，个人用心推动 AI 安全都是极具影响力的。

这段话似乎是 Brundage 留给仍在 OpenAI 的前同事们的一封信：

“任何在 OpenAI 工作的人都应认真对待这样一个事实：他们的行为和言论对组织文化有所助益，并且当该组织掌控极其先进的能力时，可能会导致正面或负面的路径依赖。文化在任何组织中都很重要，在前沿 AI 的背景下尤其如此，因为大部分决策不依赖于监管法规，而是取决于公司内部的人。”

正如 Brundage 所言，有些政策研究更适合在外进行，AI 的安全性和保障工作有时也是如此。尽管在 OpenAI 内部确实需要某些人推动良好的政策立场，但独立的安全研究同样具备重要价值。

参考资料：

• https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im

• https://www.reddit.com/r/singularity/comments/1gagocj/openai_senior_advisor_for_agi_readiness_leaving/

本文来自微信公众号：微信公众号（ID：null），作者：新智元