加拿大初创公司推出 Command A 轻量级 AI 模型,号称仅需两块英伟达 A100 / H100 GPU 即可部署
GoodNav 3 月 14 日报道,加拿大 AI 初创公司 Cohere 于昨日推出了一款名为“Command A”的 AI 模型,该模型以轻量级应用为主打,宣称仅需两块英伟达 A100 或 H100 GPU 即可方便部署,声称其“表现与 GPT-4o 不相伯仲”,,实现“在最少硬件上释放最大性能”。
Cohere 表示,Command A 是专为中小企业环境设计的,支持 256k 的上下文长度和 23 种语言。与之相比,其他竞争对手的类似模型则需要 32 块 GPU 才能进行部署。
在性能测试方面,Command A 每秒可输出最高达 156 个 Token,据称其速度比 GPT-4o 快 1.75 倍。此外,在指令追踪、SQL、代理程序及工具任务的基准测试中,Command A 也展现了优异表现。
Cohere 引用相关性能数据称,如果业界的大语言模型“规模过大”,在输出结果时可能会面临显著的延迟问题;因此,若想快速获得准确答案,Command A 是值得考虑的选择。
目前,Cohere 已在 Hugging Face 平台发布了相应的 Command A(点此访问),对学术界开放使用,未来还将推出至其他云服务平台。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...