清华团队开源大模型推理引擎“赤兔 Chitu”，实现 DeepSeek 推理成本降低一半、性能翻番

GoodNav 3 月 14 日报道，由清华大学高性能计算研究所的翟季冬教授团队与清华系的科技创新企业清程极智联合宣布，名为“赤兔 Chitu”的大模型推理引擎现已开源。

根据介绍，该引擎首次可以在非英伟达 Hopper 架构的 GPU 及各类国产芯片上原生执行 FP8 精度模型，成功将 DeepSeek 的推理成本降低了50%，同时实现了性能翻倍。其被定位为“生产级大模型推理引擎”，具备以下特性：

• 多元算力适配：不仅兼容 NVIDIA 的最新旗舰产品到老款系列，也为国产芯片提供了优化支持。

• 全场景可伸缩：赤兔引擎能够提供从纯 CPU 部署、单 GPU 部署到大规模集群部署的可扩展解决方案。

• 长期稳定运行：能够在实际生产环境中应用，具备承载并发业务流量的稳定性。

官方表示，当前开源的赤兔引擎在部署 DeepSeek-R1-671B 满血版时，在 A800 集群的测试中，相比部分国外开源框架，实现了 GPU 使用率降低 50%，推理速度提升了 3.15 倍。

开源地址附后：https://github.com/thu-pacman/chitu