Loading...

北京大学联合华为发布全栈开源 DeepSeek 推理方案

GoodNav在3月10日发布消息指出,根据华为技术有限公司和北京大学高性能计算校级公共平台的信息,2025年3月9日,北京大学与华为将联合推出全栈开源推理方案DeepSeek

据介绍,该方案依托于北大自主研发的SCOW算力平台系统和鹤思调度系统,同时整合了DeepSeek、openEuler、MindSpore及vLLM/RAY等社区的开源组件,以实现华为昇腾上DeepSeek的高效推理,并支持大规模算力集群的训推一体化部署。所有开发者都可以访问源码并根据需求进行二次开发,性能接近闭源方案

全栈开源方案 其他闭源方案
模型 DeepSeek-R1-w8a8
硬件配置 2*Atlas 800I A2
输入长度 4096
输出长度 1024
系统输出
吞吐
1198 1288
用户并发 128 128

目前,该方案已在未名卓越一号集群成功部署。该集群由北京大学计算中心负责研发和维护,为北大鲲鹏昇腾科教创新卓越中心提供算力支持。据了解,作为国内首个基于高校自研基础软件的国产智能计算平台,此集群于2024年11月18日正式投入使用,首期集成了20台昇腾AI服务器与10台鲲鹏通用服务器,AI算力规模达到30.64PFlops(半精度)。

此次发布的DeepSeek推理方案依托全栈开源组件构建,在openEuler开源操作系统层面进行了深入优化;通过异构调度负载感知的MoE冷热专家实现了更细粒度的任务调度;通过异构融合高效管理内存,减少系统内存碎片;并利用毕昇编译器进一步优化,降低算子下发耗时,提升推理整体性能。

图片

▲ 算力集群全栈开源推理方案架构图
© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...