英伟达 Dynamo 发布:号称“AI 工厂的操作系统”,Blackwell 买得越多、省得越多
GoodNav 3 月 19 日报道,英伟达今日正式推出 Dynamo,声称它是“AI 工厂的操作系统”。
Dynamo 是一个“分布式推理服务库”,其实它是针对用户需求令牌不足的问题所提供的开源解决方案。
黄仁勋展示了一幅推理相关的图表,X 轴表示用户每秒的 token 数量,Y 轴表示工厂每秒的 token 数量。
在 Dynamo 和 Grace Blackwell NVLink72 超级芯片的支持下,Blackwell 相比于 Hopper 可以实现25 倍的性能提升。
在推理模型中,Blackwell 的性能为 Hopper 的40 倍。
值得注意的是,黄仁勋还幽默地提到,凭借上述最新技术的支持,建设 AI 工厂的公司“买得越多、省得越多”,总之就是支出更多。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...