단 하나의 그림으로 페인팅 과정을 '복원'할 수 있습니다. 이 논문은 인기 있는 Paints-UNDO보다 일찍 구현되었습니다.

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com, zhaoyunfeng@jiqizhixin.com

저자 소개: Song Yiren: 싱가포르 국립 대학교 ShowLab의 박사 과정 그의 주요 연구 방향은 이미지 및 비디오 생성입니다. AI 보안.

Huang Shijie: 싱가포르 국립대학교 석사 2년차. 현재 Tiamat AI에서 알고리즘 엔지니어 인턴으로 일하고 있습니다. 그의 주요 연구 방향은 Visual Generation입니다. 현재 2025년 가을 박사학위 입학을 찾고 있습니다.

최근 lvmin에서 최신 모델인 Paints-UNDO를 가져왔습니다. 이 AI 생성 도구는 사진을 기반으로 전체 페인팅 프로세스를 복원할 수 있으며 전체 AIGC 커뮤니티는 충격을 받았습니다. 페인트 데모 - UNDO.

이르면 한 달 전 NUS, SJTU, Tiamat 및 기타 기관에서 유사한 작업에 대한 작업인 ProcessPainter: Learn Painting Process from Sequence Data를 공동으로 발표했습니다. Paints-UNDO 기술 보고서는 아직 공개되지 않았습니다. ProcessPainter가 이를 어떻게 구현하는지 살펴보겠습니다!

논문 제목: ProcessPainter: 시퀀스 데이터에서 페인팅 프로세스 학습

논문 링크: https://arxiv.org/pdf/2406.06062

• 코드 링크: https://github.com /nicolaus-huang/ProcessPainter
• 그림 교육 서적을 열면 그림 그리기에 대한 단계별 지침을 볼 수 있습니다. 하지만 생성적 AI 시대에는 노이즈 제거 과정을 통한 이미지 생성이 인간 화가의 페인팅 과정과 전혀 다르다. AI 페인팅 과정은 회화 교육에 직접 활용될 수 없다.

이 문제를 해결하기 위해 ProcessPainter는 합성 데이터와 인간 화가 그림 비디오에 대한 시간 모델을 훈련하여 확산 모델을 통해 처음으로 그림 프로세스를 생성할 수 있습니다. 또한 다양한 주제와 화가의 그림 과정은 매우 다양하며 스타일도 매우 다릅니다. 그러나 현재 회화 과정을 연구 대상으로 삼은 연구는 거의 없다. 논문의 저자는 사전 학습된 Motion Model을 기반으로 특정 아티스트의 소수의 페인팅 시퀀스에 Motion LoRA를 트레이닝하여 아티스트의 페인팅 기법을 학습했습니다.

ProcessPainter 핵심 기술에 대한 심층적 해석

1. 时序注意力机制（Temporal Attention）

用时序注意力学习生成绘画过程是 ProcessPainter 的核心创新。绘画序列生成的关键是，整个序列是同一张图从抽象到具体的变化过程， 前后帧在内容和构图上是一致且相关的。为了实现这一目标，作者为 Unet 引入了来自 AnimateDiff 的时序注意模块。该模块位于每一层扩散层之后，通过帧间自注意机制来吸收不同帧的信息，确保整个序列的平滑过渡和连续性。

实验证明，该训练策略可以在帧之间保持一致的绘画效果。绘画过程生成和视频生成任务不同之处在于，绘画过程前后变化更加剧烈，首帧是完成度很低的色块或线稿，而尾帧是完整的画作，这对模型训练带来挑战。为此，论文作者先在大量合成数据集上预训练时序模块，让模型学习各种各种 SBR（Stroke-based rendering) 方法的逐步绘画过程，再用数十个艺术家的绘画过程数据训练 Painting LoRA 模型。

2. 艺术品复制网络（Artwork Replication Network）

绘画实践中，我们更希望知道一幅作品是如何画出来的，以及如何从半成品绘画继续细化以达到期待的成品效果。这就引申出了两个任务：绘画过程重建和补全。鉴于这两个任务都有图像的输入，论文作者提出了艺术品复制网络（Artwork Replication Network）。

这一网络设计能够处理任意帧的图像输入，灵活控制绘画过程的生成。与之前的可控性生成方法类似，论文作者引入一个 ControlNet 的变体，来控制生成结果中的特定帧与参考图一致。

3. 合成数据集与训练策略

由于真实绘画过程数据较难获取，数量不足以支持大规模训练。为此，论文作者构建了用于预训练的合成数据集。 

具体采用了三种合成数据方法：

1. 采用 Learn to Paint 来产生半透明贝赛尔曲线笔触的绘画序列； 

2. 通过自定义笔触，用 Neural style painting 生成油画风格和中国画风格的绘画序列。

3. 上述 SBR（Stroke base painting）方法是从粗到细的拟合一张目标图像， 意味着允许对于已经绘画的部分进行覆盖和修改，然而很多绘画种类，如中国画和雕刻，由于材料的限制，无法大幅度修改已经完成的部分， 绘画过程是分区域完成的。为此，论文作者采用 SAM（segment anything) 和显著性检测方法，从空白画布逐个子区域添加内容，先绘制显著性物体， 然后逐步向背景扩散，从而合成绘画过程视频。

在训练阶段，论文作者首先在合成数据集上预训练了 Motion Model，然后冻结了 Motion Model 的参数并训练了 Artwork Replication Network。在微调绘画 LoRA 模型时，第一步只使用最终帧来微调空间注意力 LoRA，以防止半成品绘画训练集损害模型的生成质量。

此后，论文作者冻结了空间注意力 LoRA 的参数，并使用完整的绘画序列微调时间注意力 LoRA。在推理阶段，当从文本生成绘画序列时，ProcessPainter 不使用艺术品复制网络。在绘画过程重建和补全任务中，ProcessPainter 使用艺术品复制网络接收特定帧的参考输入。为了确保生成的绘画序列中的帧尽可能与输入图像匹配，ProcessPainter 采用了 DDIM 反演技术来获取参考图像的初始噪声，并在 UNet 中替换特定帧的初始噪声。

ProcessPainter 效果展示

在合成数据集上训练的 ProcessPainter base model 可以生成过程上有风格差异的绘画序列。

通过在少量人类画师的绘画序列上分别训练 Motion Lora，ProcessPainter 可以学习特定画师的绘画过程和风格。

참조 이미지를 지정하면 ProcessPainter는 완성된 작품을 페인팅 단계로 역으로 분해하거나 반제품에서 완전한 페인팅을 추론할 수 있습니다.

이러한 기술 구성 요소의 조합을 통해 ProcessPainter는 텍스트에서 페인팅 프로세스를 생성할 뿐만 아니라 참조 이미지를 페인팅 시퀀스로 변환하거나 미완성 페인팅을 완성할 수 있습니다. 이는 의심할 여지 없이 미술 교육을 위한 새로운 도구를 제공하고 AIGC 커뮤니티를 위한 새로운 길을 열어줍니다. 아마도 가까운 미래에는 인간 화가의 그림 과정을 시뮬레이션하는 다양한 Lora가 Civitai에 나타날 것입니다.

자세한 내용은 원문을 읽어보시거나 Github 프로젝트 홈페이지를 방문해주세요.

위 내용은 단 하나의 그림으로 페인팅 과정을 '복원'할 수 있습니다. 이 논문은 인기 있는 Paints-UNDO보다 일찍 구현되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!