PyTorch 架构优化库 torchao 正式发布，可大幅提升 AI 模型效率

GoodNav 10 月 2 日报道，根据 PyTorch 的新闻稿，PyTorch 旗下的架构优化库 torchao 已正式发布。该库主要致力于模型的量化和稀疏性优化，能够在保持性能的同时降低模型的计算成本和 RAM 使用，从而提高模型的运行效率，附上 GitHub 页面链接（点击访问）。

据介绍，torchao 提供了一系列优化工具，能够帮助 LLaMA 3 等热门 AI 模型提升性能，支持 float8、int4 等低精度数据类型，有效减少硬件开销和 RAM 使用。

官方示例显示，在 LLaMA 3 70B 模型的预训练过程中，torchao 提供的 float8 训练流程可以将模型计算速度提升 1.5 倍。开发者只需使用 convert_to_float8_training 函数，即可将模型训练转换为 float8，从而轻松实现高效训练。

在推理方面，torchao 提供多种量化方法，包括权重量化（Weight-Only Quantization）和动态激活量化（Dynamic Activation Quantization），用户可以自由选择适合的量化策略，以获得最佳的模型推理性能。

在稀疏性优化方面，torchao 能够提升模型参数计算效率，声称可使 ViT-H 模型的推理速度提高 5%。同时，torchao 还可以将权重量化为 int4，并将键值缓存量化为 int8，使 LLaMA 3.1 8B 在完整的 128K 上下文长度下仅需 18.9GB 的显存。