중국 전통 문화에 대한 깊은 이해를 갖춘 AI 회화 모델입니다. 그림은 유교, 불교, 도교를 전달하는 유형적이고 영적인 것입니다.

최근 AI 페인팅이 큰 인기를 끌면서 국내외적으로 AI 페인팅 열풍이 불고 있습니다. 지난달에는 AI 그리기 도구 미드저니(Midjourney)를 활용해 만든 게임 디자이너의 작품 '스페이스 오페라'가 콜로라도주 박람회 미술대회에서 금메달을 수상한 바 있다.

이에 영감을 받아 중국 인민대학교 루즈우 교수팀은 자체 개발한 다중 모달 사전 훈련 모델 Wenlan과 최신 이미지 생성 기술을 혁신적으로 결합하여 중국 전통 문화를 가장 잘 이해하는 AI 그림을 만들었습니다. 모델 생성 .

Wenlan 모델은 Wen Jirong 교수, 중국 런민 대학교 Hillhouse 인공 지능 학교 원장, Lu Zhiwu 교수, Song Ruihua 상임 부교수가 이끄는 대규모 중국 다중 모드 사전 훈련 모델입니다. . Wenlan 모델은 6억 5천만 개의 약하게 관련된 중국어 이미지-텍스트 쌍으로 사전 학습되었으며, 독특한 중국어 의미 이해 능력을 학습했으며, 특히 중국어 의미를 시각적 정보와 잘 연결할 수 있습니다. 한자 중 일부는 그림에 암시적인 의미와 추상적인 개념을 담고 있습니다.

올해 6월 네이처 커뮤니케이션즈(Nature Communications)에 '다중 기반 모델을 통한 인공 일반지능을 향하여' 관련 연구 결과가 게재되었습니다.

​

논문 링크: https://www.nature.com/articles/s41467-022-30761-2

Wenlan과 생성 모델의 결합

연구팀 Wenlan 모델의 잠재력을 활용하고 이를 최신 세대 기술과 혁신적으로 결합하고 Wenlan의 추상적 의미 이해 기능과 생성 모델의 강력한 생성 기능을 통합함으로써 결과 모델이 입력 텍스트의 의미를 훌륭하게 해석하고 해당 의미론을 사용하여 그림을 생성합니다.

팀은 중국 전통 문화에서 Wenlan의 잠재력을 탐구하고 최신 생성 모델 아키텍처를 차용하며 수집된 중국 그림 데이터 세트에 대한 교육에 중점을 두고 있습니다. 결과 모델은 입력 텍스트를 기반으로 해당 스타일을 생성할 수 있습니다. 사진 . 자세한 아키텍처 다이어그램은 아래와 같습니다.

​

구체적으로 팀은 중국 그림 데이터 세트에 대해 무조건 생성 모델을 훈련하고 Wenlan 모델을 사용하여 반복 생성을 통해 생성 프로세스를 안내했습니다.

이 방법은 먼저 노이즈 사진을 무작위로 초기화합니다. 생성의 각 단계에서 모델은 생성된 이미지의 내용을 입력 텍스트에 가까운 방향으로 조정하여 각 단계에서 생성된 이미지의 내용과 입력 텍스트의 내용이 잠재 공간에서 일치하는 경향이 있도록 합니다. 원란 모델. 이 단계는 다음과 같이 설명할 수 있습니다.

여기서 x와 y는 각각 이미지와 텍스트를 나타내고, IE와 TE는 각각 Wenlan의 이미지 인코더와 텍스트 인코더를 나타냅니다. 지속적인 반복을 통해 이 모델은 텍스트 의미론을 기반으로 고품질 기호 그림을 생성하는 기능을 달성할 수 있습니다.

문란 그림 모델 평가 결과

문란 모델 자체의 특성으로 인해 문란 그림 모델은 입력된 고대 한시를 기반으로 해당 그림을 생성할 수 있습니다. 다음 예에서 볼 수 있듯이 모델이 생성한 그림은 고대 시의 내용 및 예술적 개념과 매우 일치합니다.

동시에 팀은 Wenlan의 그림 모델이 심지어 모호한 유교, 불교, 도교에 대한 독특한 해석을 담고 있다는 사실도 발견했습니다.

유교, 불교, 도교를 해석하는 Wenlan 회화 모델의 특성을 더 잘 보여주기 위해 팀에서는 Dream Stealer, Wenxin, Disco Diffusion, Midjourney 및 Stable 등 국내외에서 가장 인기 있는 AI 회화 모델을 선택하여 비교 분석했습니다. 확산. Disco Diffusion, Midjourney 및 Stable Diffusion의 경우 먼저 Baidu에서 중국어 텍스트를 번역해야 합니다.

아래 그림에서 생성된 결과를 보면 Dream Stealer, Disco Diffusion, Midjourney 및 Stable Diffusion은 문장에서 구체적인 개체를 생성하거나 더 나은 그림이 포함된 그림을 생성하는 경향이 있지만 내용과 문장의 관계는 거의 없습니다. Wenxin은 캐릭터가 포함된 그림을 생성하는 경향이 있으며 심지어 켜진 촛불과 같은 빛에도 직접적으로 해당합니다.

원란 그림 모델은 전체 문장의 의미와 그 안에 담긴 유교 사상을 더 잘 읽을 수 있으므로 이 사상에 더 부합하는 그림을 생성할 수 있습니다.

두 번째로, 불교 사상이 담긴 텍스트 입력의 경우 가장 인기 있는 회화 생성 모델은 구체적인 대상 중 일부만 캡처하고 대상 생성을 수행할 수 있으며 일부 회화 모델은 이를 오해할 수도 있습니다.

아래 그림의 생성된 결과에서 볼 수 있듯이 Wen Xin은 "도를 보고 산을 잊어버리면 세상이 외로울 것이고, 산을 보고 도를 잊어버리면 산이 외로울 것"이라고 이해했습니다. 시끄럽다'는 도교 사상(도교 사제의 이미지 생성)입니다. 문란화 모델은 입력된 텍스트의 불교사상을 잘 해석하고 이를 생성된 그림에 반영할 수 있습니다.

마지막으로 도교 사상 측면에서 팀은 도덕경에서 가장 핵심적인 세 문장을 선정했습니다. Dream Stealer, Disco Diffusion, Midjourney 및 Stable Diffusion에 비해 Wen Xin은 Tao Te Ching을 해석하는 능력이 더 뛰어납니다.

그러나 전반적으로 Wenlan 그림 모델은 도교 사상을 더 정확하게 해석하고 생성된 그림은 더 도교 예술적 개념을 갖습니다.

요약

Wenlan 팀은 최근 인기를 끌고 있는 AI 그림 생성 기술과 중국 다중 모드 사전 학습 모델 Wenlan을 결합하여 중국 전통 문화에서 Wenlan 모델의 잠재력을 깊이 탐구하고 생성된 모델을 사용하여 그림을 생성합니다. 그림과 그림 일반 대중이 중국의 심오한 전통문화 사상을 보다 직관적으로 이해할 수 있는 형태로 제시됩니다.

위 내용은 중국 전통 문화에 대한 깊은 이해를 갖춘 AI 회화 모델입니다. 그림은 유교, 불교, 도교를 전달하는 유형적이고 영적인 것입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!