单图直出 CAD 工程文件，新研究解决 AI 生成 3D 模型“不可编辑”痛点

只需一张图片即可生成可编辑的 CAD 工程文件！由魔芯科技、南洋理工大学等研究团队提出的图像生成 3D 新框架，命名为 CADCrafter。

与以往的图生 3D 方法，如网格（Mesh）或 3D 高斯泼溅（3DGS）已有显著差异。

无论是零件的渲染图，还是拍摄的 3D 打印零件，甚至是随机拍摄的日常物品，CADCrafter 都能生成相应的原创 CAD 文件（以 CAD 指令形式表示，包括对每个几何特征的指令及其参数）。

此外，通过 CAD 编译器进行编译，可以得到可直接用于生产加工的 3D 文件（如 STP 格式）。用户可通过编辑 CAD 指令对物体进行修改（如下图右所示）。

从实用性、表面质量等各方面来看，CADCrafter 在性能上相较目前的图生 3D 方法有显著提升。

这项研究的作者包括来自 KOKONI 3D（魔芯科技）、新加坡南洋理工大学、新加坡 A*STAR、西湖大学、德克萨斯大学奥斯汀分校及浙江大学的研究人员。通讯作者为魔芯科技创始人 Tianrun Chen 和新加坡 A*STAR 研究科学家 Fayao Liu。该论文已被 CVPR 2025 接收。

以下是更多详细信息。

从图像到高质量 CAD 模型的端到端生成流程

在现实中，大部分人造物体的模型最初是通过计算机辅助设计（CAD）软件进行参数化建模的。

然而，当前热门的 3D AI 生成内容（3D AIGC）技术，如 TRELLIS 等，仍然主要依赖于“网格模型”（Mesh）。

随之而来的问题也不少。

与 CAD 的参数化设计相比，网格模型不仅难以理解，更难以精准编辑。假如用户想修改一个小部件的尺寸？在 CAD 中只需调整参数，但在网格模型中则可能需要进行大规模修改。

此外，这些 AI 生成的网格模型表面常常显得不够光滑，边缘也不够锋利，尤其是在使用像 Marching Cubes 算法从隐式函数转换生成网格时，几何质量更容易受到影响。

这种粗糙的表面在需要高质量渲染或动画的应用中，显得尤其不堪。

相比之下，CAD 的参数化模型提供了极高的可控制性和精确度。用户可以通过调整参数直接修改几何形状，从而实现快速而精确的变更，极大提高设计的灵活性与解释性。

CADCrafter 首先尝试实现了从图像到网格的转换，再到图像到 CAD 的方式转变。

方法概述如下：

1. 基于 VAE 与扩散变换器的隐空间生成框架

CADCrafter 采用了一种结合 VAE 和扩散模型的两阶段生成架构。

首先，团队训练了一个变分自编码器（VAE），将 CAD 指令序列映射到一个结构化的隐空间。

随后，在隐空间中引入条件扩散生成过程：基于 Diffusion Transformer（DiT）架构，训练一个扩散生成的大模型，输入为用户提供的图像，从而在图像引导下实现 CAD 隐空间的采样与生成。

2. 蒸馏策略：从多视图到单视图的高效建模转移

考虑到从单张图像重建 CAD 模型的挑战，团队首先构建了一个多视图输入的 DiT 生成模型，以更稳定地学习图像到 CAD 空间的映射。

然后，通过引入蒸馏机制（使用 L_distill 损失），将多视图模型的知识迁移至单视图模型，从而实现仅基于单张图像生成高质量 CAD 的能力。

3. 引入基于 DPO 的可编译性代码检查机制

在生成 CAD 的过程中，CAD 指令需经过 CAD 内核（CAD Kernel）解析，才能产生可视的 3D 模型。

然而，如果生成的指令存在语义错误，例如不闭合的曲线等，模型构建将直接失败。

为了解决这一关键挑战，研究团队设计了一个代码合理性判别模块，以判断生成的 CAD 代码是否能够顺利编译。

研究者进一步应用 DPO（直接偏好优化）损失，引导模型生成更具可编译性、几何结构完备的 CAD 指令，大幅提升最终 3D 模型生成的成功率和实用性。

渲染件、3D 打印零件皆可重建

研究团队选择多个标准 CAD 模型，利用 KOKONI SOTA 3D 打印机将其打印为实物，并通过拍照获得图像输入。

实验显示，CADCrafter 能通过单张图像，准确生成结构清晰并符合几何特征的 CAD 建模指令，其生成效果在细节还原上优于现有方法。

通过拍摄日常生活中的物体，CADCrafter 同样能够直接生成其设计制造时可用的工程文件，且其表面平整度、棱角等细节均符合物体制造时的特点（优良的表面、尺寸和几何特征皆可编辑）。

这一成果展示了 CADCrafter 在建模精度上的显著突破，也体现了其在实际应用中的可行性。

例如，在制造和维修领域，工程师能够通过拍摄现有零件的照片，迅速生成可编辑的 CAD 模型，从而加速原型设计或零件重建流程。

团队坚信，CADCrafter 为 AI 辅助工业设计提供了新的解决方案，其从图像到网格再到 CAD 的转变，有助于推动图像驱动的 AI 3D 建模迈向真正的可落地应用。

论文链接：https://arxiv.org/pdf/2504.04753

本文摘自微信公众号：量子位（ID：QbitAI），原文标题《单图直出 CAD 工程文件！CVPR 2025 新研究解决 AI 生成 3D 模型“不可编辑”痛点｜魔芯科技 NTU 等出品》