北京大学联合华为发布全栈开源 DeepSeek 推理方案
GoodNav在3月10日发布消息指出,根据华为技术有限公司和北京大学高性能计算校级公共平台的信息,2025年3月9日,北京大学与华为将联合推出全栈开源推理方案DeepSeek。
据介绍,该方案依托于北大自主研发的SCOW算力平台系统和鹤思调度系统,同时整合了DeepSeek、openEuler、MindSpore及vLLM/RAY等社区的开源组件,以实现华为昇腾上DeepSeek的高效推理,并支持大规模算力集群的训推一体化部署。所有开发者都可以访问源码并根据需求进行二次开发,性能接近闭源方案。
全栈开源方案 | 其他闭源方案 | |
模型 | DeepSeek-R1-w8a8 | |
硬件配置 | 2*Atlas 800I A2 | |
输入长度 | 4096 | |
输出长度 | 1024 | |
系统输出 吞吐 |
1198 | 1288 |
用户并发 | 128 | 128 |
目前,该方案已在未名卓越一号集群成功部署。该集群由北京大学计算中心负责研发和维护,为北大鲲鹏昇腾科教创新卓越中心提供算力支持。据了解,作为国内首个基于高校自研基础软件的国产智能计算平台,此集群于2024年11月18日正式投入使用,首期集成了20台昇腾AI服务器与10台鲲鹏通用服务器,AI算力规模达到30.64PFlops(半精度)。
此次发布的DeepSeek推理方案依托全栈开源组件构建,在openEuler开源操作系统层面进行了深入优化;通过异构调度负载感知的MoE冷热专家实现了更细粒度的任务调度;通过异构融合高效管理内存,减少系统内存碎片;并利用毕昇编译器进一步优化,降低算子下发耗时,提升推理整体性能。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...