PaLM(Pathways Language Model)是一款大型语言模型(LLM),类似于OpenAI的GPT系列或Meta的LLaMA系列。谷歌于2022年4月首次推出PaLM,拥有超过5400亿个训练参数。与其他LLM相同,PaLM具备灵活性,能够完成多种文本生成和编辑操作。例如,你可以将PaLM训练成如同ChatGPT那样的对话机器人,亦可用于文本总结或代码编写等任务。(这与谷歌今天在Workspace应用程序(如Google Docs和Gmail)中宣布的功能类似。)
在2023年谷歌I/O大会上,谷歌首席执行官皮查伊推出了与GPT-4相竞争的大型模型PaLM 2,并正式发布了预览版本,进一步提升了数学、编码、推理、多语言翻译以及自然语言生成的能力。
谷歌将为PaLM 2提供四种不同规模的版本,分别为Gecko、Otter、Bison和Unicorn,从最小到最大。Gecko非常轻便,能够在移动设备上运行,速度极快,即使在离线条件下也能出色支持互动应用程序。这种灵活性意味着PaLM 2可以根据不同需求进行微调,从而更广泛地支持各种产品,帮助更多用户。
PaLM 2的特性
PaLM 2是谷歌的新一代大型语言模型,增强了其多语言、推理和编码能力。
- 多语言性:PaLM 2在多语言文本训练上进行了强化,支持超过100种语言。这大幅提升了其理解、生成和翻译各种语言细微差别文本(包括成语、诗歌和谜语)的能力,处理这类挑战向来困难。PaLM 2还成功通过了“精通”级别的高级语言能力考试。
- 推理:PaLM 2的庞大数据集涵盖了科学论文和含有数学表达式的网页,因而在逻辑、常识推理和数学问题方面表现出了显著的进步。
- 编程:PaLM 2在大量开放源代码数据集上预训练,这使它对Python和JavaScript等流行编程语言非常擅长,同时也能生成Prolog、Fortran和Verilog等语言的专业代码。