Science 子刊封面:500 年前拉斐尔怎么作画,AI 看一眼就知道
AI 的跨界应用,只有想象不到的,没有做不到的。艺术家们利用深度学习模型分析拉斐尔的作品,不仅能够识别所用颜料和绘画技法,还能判断 500 年前拿起画笔的是否是拉斐尔本人。
随着 DALL-E、MidJourney 等工具的出现,我们见证了生成式 AI 的卓越“创作能力”。但如果让 AI 来分析艺术大师的作品,它们又会展现出怎样的能力呢?
最近,Science Advances 的封面上刊登了一篇来自意大利文化遗产科学研究所的论文。研究团队对两幅著名的拉斐尔画作进行了 MA-XRF 扫描,并运用深度学习模型进行分析。
研究结果表明,AI 不仅处理速度极快,且结果相当准确,还能为我们提供全新的见解和视角。
给油画做 CT,让 AI 看片子
论文地址:https://www.science.org/doi/10.1126/sciadv.adp6234
在过去十年中,利用成像技术对绘画进行非侵入性研究方面取得了显著进展。
艺术家们不再仅依靠肉眼或实验来分析画作,而是采用 MA-XRF(宏观 X 射线荧光)等技术进行颜料识别、颜料分解和虚拟修复等应用。
然而,无论用途如何,每次成像都会产生大量数据集,分析这些数据也需要特定的专业知识。因此,为了高效利用这些复杂数据,计算机辅助的程序分析和计算方法也随之发展。
例如,MA-XRF 扫描绘画表面后会生成包含大量数据的 XRF 光谱。扫描区域通常包含上百万个像素,这意味着输出是三维立方体形式的数百万个 XRF 光谱。
在这一过程中,研究人员发现人工智能的应用潜力巨大,不仅限于数据处理分析,还能发现人类学者和传统分析方法容易忽视的新见解。
这篇论文中使用的模型基于 CNN 架构,并借鉴了 XRF 分析中常用的标准反卷积(deconvolution)方法,以 MA-XRF 光谱作为输入,预测画面上元素的分布及每种元素的绝对计数,从而分析所用颜料。
训练数据集包括实际 MA-XRF 扫描得到的数据和合成数据,共包含 50 万个蒙特卡罗模拟生成的光谱。
MC 模拟生成光谱的过程如图 1A 所示,图 1B 描述了所用深度神经网络的总体架构,分为卷积块和稠密块两部分。
原有的 CNN 假定图像各部分具有平移不变性,但 MA-XRF 光谱并非如此,每种元素的位置代表了能量大小,这是预测的关键信息。
为了消除原有 CNN 中的平移不变性,训练卷积块时会先固定密集块参数,待卷积块训练完成后再启用。
图 1 方法示意图(A)MC 模拟中使用的图像模型示意图,生成用于训练网络的合成 XRF 光谱(B