如今，人工智能（AI）不仅越来越多地被应用在科学和商业领域中，而且在艺术领域也开始崭露头角。
当人们对层出不穷的 AI 技术感到惊叹时，一项新的 AI 壁画修复技术出现了。
近日，为解决中国古代壁画杰作永乐宫壁画的“修复难”问题，来自山西大同大学、马来西亚理科大学、大理大学的研究团队提出了一个能够修复巨型壁画的 AI 模型——3M-Hybrid。
据介绍，这个模型在常规尺寸的壁画修复中相较于四种代表性的卷积神经网络（CNN）模型中的最佳模型，分别提高了14.61%的结构相似性指数（SSIM）和4.73%的峰值信噪比（PSNR）。此外，它在大型壁画的最终修复中也表现出了良好的效果
已在预印本网站arXiv上发表了一篇题为《关于永乐宫壁画的独特巨型壁画恢复的3M混合模型：以案例研究为例》的相关研究论文
大尺寸壁画的修复方法是什么？
永乐宫壁画位于山西省芮城的永乐宫（又名大纯阳万寿宫），其艺术价值最高的是精美的大型壁画。整个壁画面积超过1000平方米，分别绘制在无极殿、三清殿、纯阳殿和重阳殿内
永乐宫壁画作为宝贵的文化遗产，代表了中国绘画史上的艺术杰作。然而，由于长期缺乏保护，这些独特的壁画出现了许多损坏，修复壁画成为了一项紧迫的任务
与手工修复技术相比，数字修复方法更加高效和可逆，特别是基于深度学习的图像修复技术取得了显著的成就。然而，对基于深度学习的壁画修复文献主要关注敦煌壁画或其他常规尺寸的壁画，缺乏专门针对永乐宫壁画及类似巨大壁画修复的研究。
与其他关于壁画修复的研究相比，巨大的永乐宫壁画的修复工作面临两个主要挑战：1）永乐宫壁画具有稀缺性和独特的风格；2）壁画尺寸巨大，模型在修复不同类型和尺寸缺陷方面的熟练程度有限。
图｜永乐宫壁画残缺的类型和规模上各不相同，实际残缺的表现形式也更加多样。
据论文描述，此次研究提出的 3M-Hybrid 模型能够有效修复永乐宫壁画。其中，“3M”指的是三个关键策略：多频率、多角度和多尺度，而“Hybrid”指的是混合型 CNN-VIT 网络。
首先，研究团队将巨大的壁画分割成常规尺寸的部分进行修复，然后将修复后的部分重新组装成原始尺寸。为了使常规尺寸壁画修复模型能够在有限的图像数据量下有效处理各种类型和尺寸的缺陷，研究考虑了两个方面：优化训练数据和完善模型结构。
为了获得更好的修复效果，该研究采用了一种专门用于学习和提取高频和低频信号的独立网络，以增强在这些特定频率范围内的特征学习和修复能力。通过基于频率的训练方法，该模型能够有效处理不同尺度和类型的缺陷
在模型结构方面，该研究将卷积神经网络（CNN）与预训练的视觉变换器（VIT）集成在一起，从而增强模型的特征提取能力。
在修复巨大壁画时，我们发现基本的切割方法在修复超大尺寸的缺陷时会导致接缝间隙和结构失真。为了解决这个问题，我们的研究团队采用了多角度策略来减小间隙，并结合了切割和缩小方法，采用了多尺度的修复方法。通过这样的方式，我们能够确保修复的精确性，同时也能够提取出壁画整体结构，解决了多尺度缺陷的问题
从可视化的表现来看，该模型在自由粉尘状、自由胶状和自由线性掩膜的修复结果方面表现出可观的效果。此外，对自由形状块掩膜的修复结果展现了保留的结构完整性和可信的纹理。3M-Hybrid 模型被证明是恢复这些独特而巨大壁画的可行方法。
然而，这项研究并不是没有缺点
首先，研究提出的方法依赖于多次实验以选择三个尺度融合权重的最佳值。然而，考虑到权重设置涵盖了无数的可能性，而实验次数有限，这种方法可能不够精确。因此，基于实验结果确定的权重值只能保证相对有利的最终结果。
其次，需要进行的改写是：其次，研究中使用的评估指标不够客观。目前使用的四个评估指标未能全面评估图像的结构，通常无法准确反映人类对图像的感知和评价
然而，我们不能否认该研究的重要性，它探索了深度学习在巨大壁画修复中的应用，并特别关注了利用深度学习技术来修复永乐宫壁画。这项研究代表了首次尝试探索大规模艺术品深度学习修复方法
在改进常规尺寸图像修复模型方面，该研究综合从数据和结构两个角度进行了改进。这为未来研究提供了对修复独特小数据集的新见解
帮助人类保护和传承文物的价值
在过去的几年里，人们目睹了人工智能技术与文物历史的惊人融合
2020 年，一位名叫“大谷 Spitzer”的微博网友，便利用 AI 技术将人民日报 4 年前发布的 1920 年北京黑白影像资料做了修复，完成了上色、修复帧率、扩大分辨率等工作。
2021 年，腾讯多媒体实验室也与敦煌研究院合作，利用深度学习方法分析敦煌壁画病害数据，开发出了高效的 AI 壁画病害识别工具，同时提供了沉浸式远程会诊技术，使用 4K 超清画质的 360 度画面展示洞窟内景象和文物细节，实现了无障碍远程文物会诊。
今年 6 月，在成都举办的遗产日主场城市活动“文物保护利用与文化自信自强”主题论坛上，腾讯展示了运用 AI 技术完成的三星堆人机协同模拟拼接效果。
AI 技术在文物修复领域的诸多应用令人兴奋。未来，期待 AI 技术在文物保护、修复等方面能够更进一步，帮助人类保护和传承文物的价值。
以上是中国的永乐宫壁画，大到1000平方米，能被AI修复吗？的详细内容。更多信息请关注PHP中文网其他相关文章！
