微软开源 bitnet.cpp 1-bit LLM 推理框架：不靠 GPU 可本地运行千亿参数 AI 模型，能耗最多降低 82.2%

GoodNav 10 月 19 日消息，科技媒体 marktechpost 于昨日（10 月 18 日）发表了博文，称微软公司已开源了 bitnet.cpp，这是一款能够高效运行于 CPU 的 1-bit 大语言模型（LLM）推理框架。

利用 bitnet.cpp 框架，用户无需依赖 GPU，便可在本地设备上运行包含 1000 亿参数的大语言模型，实现高达 6.17 倍的速度提升，同时能耗降低幅度达到 82.2%。

传统的大语言模型通常需要庞大的 GPU 基础设施及大量电力，这使得其部署和维护成本十分高昂，而小企业和个人用户因缺乏先进的硬件，难以享受到这些技术。bitnet.cpp 框架通过降低硬件要求，使得更多用户能够以更低的成本接触 AI 技术。

bitnet.cpp 支持 1-bit LLMs 的高效计算，包含优化内核，以最大化 CPU 推理的性能，并且当前支持 ARM 和 x86 CPU，未来还计划扩展到 NPU、GPU 和移动设备。

根据初步测试结果，在 ARM CPU 上的加速比为 1.37x 至 5.07x，而在 x86 CPU 上为 2.37x 至 6.17x，能耗减少了 55.4% 到 82.2%。

bitnet.cpp 的发布，或将改变 LLMs 的计算模式，降低对硬件的依赖，为本地 LLMs（LLLMs）的发展铺平道路。

用户可以在本地运行模型，降低数据传输至外部服务器的需求，从而增强隐私保护。微软的“1-bit AI Infra”计划也在进一步推动这些模型的工业应用，bitnet.cpp 在这一进程中起着关键作用。

参考地址

• 微软开源 bitnet.cpp：一个高效的 1-bit LLM 推理框架，直接在 CPUs 上运行

• GitHub