PyTorch 灵魂人物 Horace He 从 Meta 出走，选择 OpenAI 前 CTO 初创公司

PyTorch 的权威人物 Horace He 刚刚宣布，将加入 Thinking Machines。

“在 Meta 工作期间，离职时晒出工牌照片是一种传统。不幸的是，我找不到我的正式工牌了，所以只能用临时工牌来代替。”

在完成在 Meta 的 PyTorch 工作 4 年后，Horace He 终于决定踏上新的职业旅程，去探索未曾接触的领域。

在他最新发表的博客中，他讲述了两个决定性因素：关于离开 PyTorch 和选择加入 Thinking Machines 的原因：

• 为何在 PyTorch 任职 4 年？

• 为何 Thinking Machines 对他如此吸引？

完整文章链接：https://www.thonking.ai/p/why-pytorch-is-an-amazing-place-to

前 OpenAI CTO、Thinking Machines 创始人 Mira Murati 也第一时间发文，表示非常兴奋能与他共事。

斯坦福 AI 实验室的教授评论道：“Horace He 的离去对于 Meta 来说，是个巨大的损失。”

PyTorch 创始人 Soumith Chintala 还给予了他高度的评价：

你对 PyTorch 的贡献，以及间接对 AI 界的影响，将永远被低估，甚至可能在几年后被遗忘（这在历史上常常发生）。

因此，我想郑重表示：这是 PyTorch 项目的巨大损失。如果没有你，PyTorch 转向编译模式，以及在生成式 AI 领域内维持竞争力都将困难重重。

如此优秀的人物，为什么选择离开而加入 Thinking Machines 呢？

OpenAI、SSI 等硅谷巨头对他的争夺

坦白说，这件事不容易描述。

经过大约4年的 PyTorch 工作后，我决定退出，加入 Thinking Machines 担任创始团队的工程师。

我想特别指出，我“加入 Thinking Machines 担任创始团队工程师”，而不是“离开 PyTorch”。因为在 PyTorch 的工作令我充满热情，我甚至乐意再待 4 年。

在过去的几年中，我多次聊天时对方惊讶于我仍在 PyTorch 工作。

这并不是我自夸，事实上绝非因为缺乏机会——我收到过 OpenAI、Anthropic 的职位邀请，也曾被 xAI、SSI、Adept、Inflection 等初创企业挖角，同时也得到了许多其他知名初创公司的职位邀请。

回顾起来，这些机会中的许多本可带来更丰厚的报酬，但我从未后悔选择留在 PyTorch。

接下来，我想分享我在 PyTorch 的这 4 年中享受的原因，以及促使我决定加入 Thinking Machines 的原因。

在 PyTorch 的四年，收获颇丰

与 PyTorch 的渊源

我觉得称自己为 AI 的“热衷者”是恰到好处的。

自从高中时观看 AlphaGo 比赛并阅读了 WaitButWhy 关于 AI 的文章后（尽管十年后再看可能不再可靠），我便坚信 AI 将是我一生中最重要的技术。

因此，从 2016 年进入大学以来，我的主要活动都与 AI 密切相关。

选修机器学习课程、成立本科生机器学习研究社团、发表论文，甚至是与现已成为未婚妻的女朋友也是在一起做机器学习研究时相识的。

然而，单纯做机器学习研究的过程中也有一些让我感到不如人意的地方。

首先，虽然我取得了一些成果，但即便在当时，我也不太确定自己的研究是否真的“有意义”。

，一个令人沮丧的事实是，回顾过去，99% 的论文最终不会成为推动 AI 进步的“主流发展方向”。

从悲观的角度看，任何花费时间研究 n-gram 模型的博士生基本上都是在浪费时间——他们的论文与著作最终都会被遗忘于历史长河。

虽然即使不在主流方向的论文也可能有其价值（例如揭示现有方法的局限性，提供可超越的新方法基准），但这个疑虑始终困扰着我。

其次，我从未能很好地适应机器学习的“实验驱动”工作模式——我的工作风格波动较大，时而深入思考，时而专注编码。

而成为一名优秀的机器学习实验者则需要强大的自律性——这是一个不断循环的过程：提出假设 => 运行实验 => 获取结果 => 提出新假设，同时通常还要管理多个实验阶段。

在机器学习研究中，面临物理资源限制（如 GPU），要成为优秀的研究者，必须学会充分利用 GPU 资源。

总体而言，我发现自己更倾向于“系统”领域。这不仅是我觉得能发挥长处的方向，我也一直对系统工作的影响力充满钦佩。

与其直接创造影响，不如通过提升数千乃至数百万人工作效率的 5% 来间接创造更大的价值！

由此，我找到了自己的职业定位——不是直接投身于推动机器学习技术的发展，而是专注构建基础设施，帮助他人加速机器学习领域的创新。

当然，在此过程中经历了不少波折，但这就是我最终与 PyTorch 结缘的经历。

PyTorch 对行业的深远影响

随着过去 10 年该领域及资金的爆炸式增长，人们很容易忽视 PyTorch 所带来的深远影响。

显而易见的指标之一是英伟达的股价，其主要受其服务器 GPU 销售的增长所驱动。

我合理推测，至少 75% 的这些 GPU 都在运行某种形式的 PyTorch 代码。

不可思议的是，英伟达的市值在这方面增长了约 3 万亿美元，而 PyTorch 也对此做出了重要贡献。

不仅如此，在整个机器学习社区中，PyTorch 仍然是大家的“通用语言”。

Papers With Code 追踪的研究论文中，有 59% 的论文使用 PyTorch（29% 的论文则没有使用任何机器学习框架），Huggingface 平台上大部分模型（超过 90%？）都是基于 PyTorch 构建的，最受欢迎的推理服务器如 vllm 和 sglang 也都是基于 PyTorch 开发的。

即使在顶尖 AI 实验室中，几乎所有使用 GPU 的公司都在使用 PyTorch。OpenAI、Mistral、Deepseek 和 Meta 主要依赖 PyTorch（及 GPU）。Anthropic 也主要在 GPU 上使用 PyTorch，而 xAI（尽管在 GPU 训练上使用 Jax）也通过 sglang 使用 PyTorch 进行推理！

在我高中时期，我最担心的事情之一就是自己会花上 10 年时间投入某个项目，最终却发现我浪费了大好时光去完善一个无人问津的东西。

而在 PyTorch 工作的最大幸运之一就是我深信自己绝对没有做这样的无用功。

PyTorch 对我的深刻影响

到目前为止，我的整个职业生涯都在 PyTorch 度过，因此，除了 PyTorch 整体的影响之外，我也想谈谈为什么我在这里的日常工作如此令人愉悦。

• 目标一致

初创企业最令人欣喜的一点是“目标一致”。因为大部分薪酬与股票升值捆绑在一起，因此“我同事的成功”与“我们所有人的成功”实际上是同一件事。

但在大型科技公司中，个人薪酬主要与个人绩效评估（及晋升）相关。因此，如果你开始研究一种方法，而其他人提出了一种不同且极为成功的方法（取代了你原有的方法），你的绩效评分可能会受到影响，晋升机会随之变得渺茫。

然而在 PyTorch，项目中的许多成员都有着共同的使命感——他们真心关心 PyTorch 的整体成功及其对机器学习生态系统的影响。

当然，我不会声称团队中 100% 的人都是这样，但已经有相当多人（尤其是资深人士）让工作体验进行得更加愉快。

• 真正致力于开源

Soumith（及其他领导层）在建立 PyTorch 开源文化方面做得非常出色。

还有很多其他项目表面上是开源的，但你通常只能通过优先考虑留给内部项目的方式来获得晋升与影响力。

然而，在 PyTorch，事实恰恰相反，我可以说我在这里的全部时间基本上都专注于影响开源，而在评级与晋升方面也取得了成功（当然，有些专注于内部影响的同事同样表现出色）。

在其它方面，重视开源也让整个项目变得更加健康。

• 难以操控的影响力

在大型科技公司中，我不太喜欢的一种现象是我称之为“规划导向的采用模式”。这意味着两位经理/主管/VP 聚在一起，同意使用某个项目（或许会取代某个现有项目），然后该项目的采用被计划纳入多个团队的路线图之中。

尽管这种方式在某些情况下确实有其优势甚至是必要性，但我发现这种方式采用的项目往往效果不佳。

而且这些项目的成功往往是种假象——只要有某位 VP 拥护这个项目，它就会获得持续存在，但最终人们会对此厌倦，负责项目的 VP 可能在公司内部斗争中失势，或其改变主意。总之，在规划导向的开发中，最重要的环节是说服一些“关键决策者”采纳你的项目。

相比之下，开源世界则是真正的自由市场。开源用户根本不在乎某个项目是否得到了扎克伯格的全力支持。

开源用户关心的只有两点：1. 你是否解决了他们面临的问题，2. 他们喜欢使用你的软件。

前 Meta 首席技术官 Mike Schroepfer 等也表达过类似观点。我甚至无法设想作为首席技术官获得“真实”反馈是多么困难，因为你交谈的每个人都知道你的决策能直接影响他们的晋升或奖金。

而开源世界所提供的是一种令人耳目一新的、难以操控的真实反馈。

• 有趣的技术挑战

许多工程师担心无法解决有趣的技术问题，但在 PyTorch 这方面绝不缺乏挑战。

一些项目实现了用于机器学习的 Python 字节码解释器 JIT（如 TorchDynamo），有些项目专注于矩阵乘法的光速性能，有些项目需要深入研究 PTX 文档，还有一些项目则专注于符号形状的推理（如 sympy、z3 等），还有很多其他技术难题。

这里有很多待解决的问题，欢迎大家考虑加入 PyTorch 团队。

加入 Thinking Machines，四个原因足以

既然我刚刚写了很多在 PyTorch 工作的乐趣，那么我为何要加入 Thinking Machines 呢？

最重要的是，为什么 Thinking Machines 是那个最终令我心动的机会？

一群值得共事的人

众所周知，没有出色的人才，创业公司无从谈起。而 Thinking Machines 确实拥有一些非常优秀的人才！

如，当初发布“研究预览版”的研究员 John Schulman、Barrett Zoph、Luke Metz，还有在 Meta、OpenAI、Character.AI 等公司负责预训练工作的专家，乃至在 OpenAI/Mistral 领导多模态工作的才俊，以及一些极其出色的基础设施工程师。

当然，还有前 OpenAI CTO Mira Murati（曾短暂担任 CEO）。

然而，或许比团队的实力更让我印象深刻的是团队友好的氛围。

一种巨大的、不对称的机会

作为初创公司的创始工程师，机会成本的不对称性给我带来了一种无形的优势。

例如，如果我以创始工程师的身份加入 Thinking Machines，之后一年发现自己判断失误，转去别的实验室，职业角色几乎不会有太大变化！

我仍然可以加入一家已成立的公司，而且职位可能与如今相仿。

但如果我拒绝这个机会，过一年后再加入 Thinking Machines，我的角色将会迥然不同。

不仅仅是薪酬差异，更多的是，我的影响力和话语权将大大削弱。一家公司的文化和方向主要由创始团队设定，而我在 OpenAI 或 Anthropic 的机会则无法如此获得。

契合我理想的积极 AI 成果的方法

然而，Thinking Machines 为实现积极 AI 成果而采取的方法——研究与产品的共同设计及开放科学，恰恰与我产生了共鸣。

正如前面提到的，从高中起我就坚信 AI 是我们一生中最重要的技术。然而，这并不意味着它必然会带来最大的益处。

总体来说，我自认为是一位技术乐观主义者。

换句话说，我相信人类的生活在过去 1000 年中得到显著改善，而这主要是技术创新所推动的。

在许多方面，AI 是史上最具有技术加速主义特质的技术——它是一个有潜力解决其他技术挑战的单一技术。

正因如此，我相信 AI 的潜在积极影响值得我们去追求。

当然，也可能会出现不良后果，且因为 AI 的潜在影响，不良后果的风险似乎比其他技术更为严峻。

我将 AI 的不良后果划分为以下几类：

• 滥用：恶人利用 AI 做恶事

• 错位：好人使用 AI，但 AI 本身最终导致恶果

• 社会影响：人是好的，AI 是好的，但最终我们还是得到了不理想的结果（我最担心的情况）

这样的想法来源于一个重要原因：社会对于错位和滥用拥有强烈的“免疫反应”。当涉及到潜在有害的技术时，社会有明确的应对方案——一旦发生问题，就会加强监管（如对 GPU 的限制）或法规（如强制进行更多安全审查）。

当然，AI 并非普通的技术，但我认为，在真正发生灾难性的滥用或错位之前，总会出现许多警告信号。

即使且打算隐忍不发（例如，表面上看似无害的错位或欺骗性转变），第一个尝试这样做的 AI 系统不太可能取得成功——它需要比人类及其他 AI 更加强大。

反之，负向社会影响似乎更为显而易见。当前顶尖 AI 实验室的保密制度让我感到不安（当然理解这一做法的原因）——我愈来愈无法忍受那些神秘而模糊的言辞。

此外，AI 专业知识的意识形态和地理集聚并不理想——随着 AI 专业知识变得越来越被重视，绝大部分的 AI 机密就在旧金山附近 50 英里半径内，造成了权力不平衡和单一文化。

如果我们希望使 AI 与人类价值观保持一致，那么所有专注于 AI 的人真的都应该住在旧金山吗？

我为何被 Thinking Machines 的使命所吸引

从广义上说，Thinking Machines 的使命有两个主要方面吸引了我。

1. 关注产品与广泛的 AI 普及

我认为，更广泛的社会稳定性中最重要的一个因素是社会向 AI 系统转型的平稳程度。与结果同样重要的是获得这些结果的过程感受。

例如，ChatGPT 并未真正令许多机器学习研究人员感到震惊——他们早已见识过 GPT-3，知道 GPT-3 提示词的能力，ChatGPT 只是个便捷的工具。

然而，ChatGPT 确实令其他社会群体感到震惊。这是社会第一次意识到最先进的大型语言模型所能做到的一切，让他们对此感到惊疑。但此后，ChatGPT 在更广泛的社会中逐渐常态化——人们有点像经历了“享乐适应”（人们对新事物的兴奋感通常会随着时间减弱）。

然而，还有更多事情等待我们去完成。即使在今天，第一次接触 ChatGPT 的普通人与已将 AI 深度整合到工作流程中的人之间仍有巨大差距。

此外，我相信构建能够辅助人们协作而非完全自主的 AI 智能体的产品具有很大潜力。一个有趣的方式是“最大化劳动力而非资本的价值”。

2. 开放科学与系统

如前所述，这些 AI 系统构建知识的高度保密显然不是对社会一件好事。这不仅会激起人们对这些 AI 实验室的不满，还会使社会随之难以在这些 AI 系统的基础上进行创新和发展！

例如，Deepseek 最近发布的论文和代码帮助更广泛的社区更好地了解未来的技术（如 Online RL）。

对我个人而言，这也是驱动我参与 PyTorch 项目的重要动力之一。高质量的开源系统促进了整个生态系统的发展，让更多人能够参与 AI 系统的构建。

同时，我想强调，尽管开放科学/系统无疑是个美好的理想，但现实中也涉及经费的考量。

在我看来，这正是专注于产品开发的价值所在。Meta 或谷歌这样的公司无需对所使用的核心技术保持高度机密——他们的大部分核心系统和方法都已被社会广泛了解。另一方面，如果你的产品只是个输入 token 和输出 token 的 API 接口，那么你唯一的优势便在于模型的具体能力。

公司的文化和默认制度也极其重要。这些 AI 实验室有很多可以开源而不会影响竞争力的内容——之所以不这样做只是因为他们的默认倾向是闭源，要改变这一点，需要为某些内容做出封闭的论证。

相比之下，PyTorch 采取了相反的做法。我们的所有代码都开放、路线图是公开的，某些设计会议也是透明的。因此，如果你不希望某样东西是开放的，就必须论证它为何应该是闭源。

正如奥尔特曼所说，他认为 OpenAI 应该开源更多的内容。不过，这并非当前最高优先级。

关于积极 AI 结果的总体思考

总体看来，我认为 Thinking Machines 所倡导的广泛 AI 扩散和协作开放科学的使命，是一个有效应对 AI 社会影响问题的有说服力策略。

当然，还有其他必要的方法（如政策制定），但 Thinking Machines 的使命与我个人价值观高度吻合，也是在我可以贡献力量的领域。

最终思考

作为创始工程师加入 Thinking Machines 的机会几乎满足了我所有的期望条件。

• 一个实力雄厚的团队，既有我以前乐于共事的同伴，也有其他我认为将愉快合作的人才。

• 能够从一开始就参与并对一家具有极高发展潜力的公司的方向和文化提出意见。

• 一个对我而言独特且具吸引力的使命（专注于产品 + 开放科学），有望带来更佳 AI 发展的成果。

• 最后从情感上讲，开放科学与系统让我能够继续做我在 PyTorch 工作中最喜欢的事——与他人讨论 AI 系统并通过开源代码产生广泛的影响。

我过去遇到的机会几乎没有一个同时满足这四个条件。

在考虑这个机会的时候，我清楚地记得自己想，“如果连这个机会都不能让我离开 PyTorch，那我可能会永远留在 PyTorch 工作。”

尽管这是一个极为艰难的决定，但我非常期待在 Thinking Machines 构建一些精彩的项目！

参考资料：

• https://x.com/cHHillee/status/1896973303241400704

• https://www.thonking.ai/p/why-pytorch-is-an-amazing-place-to

本文来自微信公众号：新智元（ID：AI_era），原标题《PyTorch 灵魂人物出走，被 Ilya 奥特曼抢破头！放弃大厂 offer，却选择了 ChatGPT 之母》