OpenAI 联合创始人 Ilya Sutskever：AI 预训练时代即将结束

在刚刚结束的 NeurIPS 2024 活动中，继李飞飞、Bengio 和何恺明后，Ilya Sutskever也进行了他的最新演讲。尽管演讲时长仅约 15 分钟，但内容依然引人入胜。

例如他提到：

Pre-training as we know it will end.

我们熟悉的预训练时代即将终结。

当谈及未来时，Ilya 还做出了预测：

what comes next is superintelligence: agentic, reasons, understands and is self aware.

接下来将是超级智能：具备自主性、推理、理解和自我意识。

那么，是什么导致了这样的预言？让我们一起回顾他的完整演讲。

回顾十年的技术发展

Ilya 首先通过一张十年前的PPT截图开启了这次演讲，那时的深度学习仍在摸索阶段。

在2014年的蒙特利尔，Ilya 和他的团队（包括 Oriol Vinyals 和 Quoc Le）首次提出了现在已成为 AI 领域基石的深度学习概念。

Ilya 展示了一张他们当时的PPT，阐明了团队的核心工作：自回归模型、大型神经网络和大数据集的结合。

十年前，这些元素并未被广泛视为成功的保证，如今却已成为人工智能领域的重要基础。

例如在谈到深度学习假设时，Ilya 强调了一个重要观点：

如果有一个10层的大型神经网络，它就能在一秒钟内完成人类能做的任何事情。

他解释到，深度学习的核心假设是人工神经元与生物神经元间的相似性。基于此，如果人类能够在 0.1 秒内完成某项任务，那么经过良好训练的 10 层神经网络同样能完成该任务。

这一假设推动了深度学习的研究，并使得当时看似大胆的目标得以实现。

Ilya 还介绍了自回归模型的核心思想：通过训练模型来预测序列中的下一个 token，当模型的预测准确度足够高时，它就能捕捉到整个序列的准确分布。

这一思想为后来的语言模型奠定了基础，尤其是在自然语言处理领域。

当然，除了一些“押对宝”的技术，还有一些“押错”的。例如，LSTM（长短期记忆网络）就是其中之一。Ilya 提到 LSTM 是深度学习研究者在 Transformer 开发之前的主要技术之一。

尽管 LSTM 在当时为神经网络提供了强大的功能，但其复杂性和局限性同样显而易见。

另一个方面是并行化（parallelization）。虽然现在我们已经知道 pipeline 并不是最佳方案，但当时他们通过在每个 GPU 上运行一层网络，达成了 3.5 倍的速度提升。

Ilya 认为，规模假设（scaling hypothesis）是深度学习成功的关键。

该假设指出，如果你拥有一个非常大的数据集并训练一个足够大的神经网络，成功几乎是可预见的。这一观点已成为当今深度学习领域的核心法则。

Ilya 进一步阐述了连接主义的理论，指出人工神经元与生物神经元之间的相似性让我们相信，即使不完全模拟人脑结构，庞大的神经网络同样能够执行与人类类似的任务。

预训练时代即将结束

基于上述技术的发展，让我们迎来了预训练的时代。预训练推动了大型神经网络和大规模数据集的进步。

然而，Ilya 随后预测：

尽管计算能力不断提升，硬件和算法的进展提高了神经网络的训练效率，但数据的增长已接近瓶颈。

他认为，数据是 AI 的重要资源，随着全球数据的局限，未来人工智能将面临数据瓶颈。

虽然现在我们依然可以利用现有数据进行有效训练，但 Ilya 认为这种增长趋势终将会放缓，预训练的时代也会逐步结束。

超级智能将是未来

在谈论未来的发展时，Ilya 提出了“Agent”和“合成数据”的概念。

众多专家对这些话题进行了讨论，认为 Agent 系统与合成数据将是打破预训练瓶颈的关键。

Agent 系统是指能够自主进行推理和决策的人工智能，而合成数据则是通过模拟环境创造出新的数据，以弥补现实世界数据的不足。

Ilya 还举了一个生物学上的例子，阐述了哺乳动物体型与脑容量之间的关系，暗示不同生物可能通过不同的“规模法则”演化出不同的智能表现。

这一观点为深度学习领域未来的发展指明了方向，表明人工智能有可能通过不同的方式突破目前的规模限制。

最后，Ilya 谈到了超级智能的前景。

他指出，尽管当前的语言模型和 AI 系统在某些任务上展现出超人类的能力，但在推理时却依然表现出不稳定和不可预测的特点。

推理越多，系统变得越不可预测，这一现象在诸多复杂任务中显得尤为明显。

他还提到：

目前的 AI 系统还不能真正理解和推理，尽管它们能够模拟人类的直觉，但未来的 AI 可能在推理和决策方面展现出更不可预测的能力。

Ilya 进一步猜测，未来的 AI 将不仅仅是执行任务的工具，而将演变为“Agent”，能够进行自主推理和决策，甚至可能具备一定形式的自我意识。

这将是一个质的飞跃，AI 将不再是人类的延伸，而是一个具有独立智能的存在。

参考链接：

https://x.com/vincentweisser/status/1867719020444889118

本文来自微信公众号：量子位（ID：QbitAI），作者：金磊，原标题《Ilya 宣判：预训练即将终结！NeurIPS 现场沸腾》