Loading...

微软拥抱 DeepSeek,Copilot+ PC 本地运行 7B 和 14B 模型

GoodNav 3 月 4 日报道,微软今天宣布,已通过 Azure AI Foundry 整合 DeepSeek-R1 7B 和 14B 蒸馏模型,实现 Copilot+ PC 在本地运行 7B 和 14B 模型的功能

早在今年 1 月,微软就表示计划将 DeepSeek-R1 模型的 NPU 优化版本直接加载到配备高通骁龙 X 处理器的 Copilot+ PC 上。现在,这一承诺终于实现。

微软拥抱 DeepSeek,Copilot+ PC 本地运行 7B 和 14B 模型

根据微软官方博客的信息,这些模型将首先在采用高通骁龙 X 处理器的 Copilot+ PC 上推出,之后将扩展到英特尔酷睿 Ultra 200V 和 AMD 锐龙的设备上。

由于模型运算在 NPU 上进行,因此可以降低对 PC 电池续航和散热性能的影响,同时持续提供 AI 计算能力,CPU 和 GPU 可以用于处理其他任务。

微软拥抱 DeepSeek,Copilot+ PC 本地运行 7B 和 14B 模型

微软强调,采用了 Aqua 内部的自动量化工具,将所有 DeepSeek 模型变体的权重量化为 int4。遗憾的是,模型的标记速度相对较低。根据微软的报告,14B 模型的标记速度仅为 8 tok/秒,而 1.5B 模型的标记速度接近 40 tok/秒。微软表示,公司正在积极优化以提升这一速度。

开发者可以通过 AI Toolkit VS Code 扩展在 Copilot+ PC 上下载并运行 DeepSeek 模型的 1.5B、7B 和 14B 版本。

© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...