현대 인공지능 예술에 영감을 주는 물리적 원리, 생성적 인공지능의 가능성 탐구가 이제 막 시작되었습니다.

OpenAI가 만든 이미지 생성 시스템 DALL·E 2에 "해변에서 코카콜라를 마시고 있는 금붕어"의 그림을 그리면 초현실적인 이미지가 뿜어져 나옵니다. 프로그램은 훈련 중에 해변, 금붕어, 코카콜라의 이미지를 접했지만 세 가지 이미지를 모두 동시에 볼 가능성은 거의 없었습니다. 그러나 DALL·E 2는 이러한 개념을 달리가 자랑스러워할 만한 것으로 결합할 수 있습니다.

DALL·E 2는 생성 모델입니다. 학습 데이터를 사용하여 품질과 다양성 측면에서 데이터에 필적하는 새로운 것을 생성하는 시스템입니다. 이는 머신러닝에서 가장 어려운 문제 중 하나이며, 이 지점에 도달하는 것은 힘든 여정이었습니다.

첫 번째 중요한 이미지 생성 모델은 신경망이라는 인공 지능 방법, 즉 인공 뉴런이라는 컴퓨팅 장치의 여러 계층으로 구성된 프로그램을 사용했습니다. 그러나 이미지 품질이 향상되었음에도 불구하고 모델은 신뢰할 수 없고 훈련하기 어려웠습니다. 한편, 물리학에 대한 열정을 갖고 있는 박사후 연구원이 만든 강력한 생성 모델은 두 명의 대학원생이 기술적 혁신을 이루어 야수를 다시 살아나게 할 때까지 휴면 상태에 있었습니다.

DALL·E 2는 정말 괴물입니다. DALL·E 2의 이미지와 경쟁사인 Stable Diffusion 및 Imagen의 이미지를 가능하게 하는 핵심 통찰력은 물리학의 세계에서 비롯됩니다. 이를 뒷받침하는 시스템을 확산 모델이라고 하며 유체 및 가스 확산과 같은 현상을 지배하는 비평형 열역학에서 크게 영감을 받았습니다. OpenAI의 머신러닝 연구원인 Yang Song은 “원래 물리학자들이 발명한 기술이 현재 머신러닝에서 매우 중요한 기술이 많이 있습니다.”라고 말했습니다.

이 모델의 힘은 업계와 사용자에게 충격을 주었습니다. California Institute of Technology의 컴퓨터 과학자이자 Nvidia의 기계 학습 연구 수석 이사인 Anima Anandkumar는 "지금은 생성 모델에 있어 흥미로운 시기입니다."라고 말했습니다.

확산 모델로 생성된 사실적인 이미지는 때때로 사회적, 문화적 편견을 영속시킬 수 있지만 "우리는 생성 모델이 예측 AI 모델의 공정성을 향상시키는 다운스트림 작업에 유용하다는 것을 보여주었습니다."

높은 확률

이미지 데이터를 생성하는 방법을 이해하려면 인접한 두 개의 회색조 픽셀로만 구성된 간단한 이미지부터 시작해 보겠습니다. 각 픽셀의 음영을 기반으로 하는 두 가지 값(완전 검정색의 경우 0부터 완전 흰색의 경우 255)으로 이 이미지를 완벽하게 설명할 수 있습니다. 이 두 값을 사용하여 이미지를 2D 공간의 한 점으로 플롯할 수 있습니다.

여러 이미지를 점으로 플롯하면 클러스터링이 발생할 수 있습니다. 일부 이미지와 해당 픽셀 값은 다른 이미지보다 더 자주 나타납니다. 이제 평면 위에 곡면이 있고 곡면의 높이가 클러스터의 밀도에 해당한다고 상상해 보십시오. 이 표면은 확률 분포를 나타냅니다. 표면의 가장 높은 부분 아래에서 단일 데이터 점을 찾을 가능성이 가장 높으며 표면의 가장 낮은 부분 아래에서는 거의 찾을 수 없습니다.

DALL·E 2는 "해변에서 코카콜라를 마시는 금붕어" 이미지를 만들었습니다. OpenAI에서 만든 이 프로그램은 유사한 이미지를 본 적이 없을 수도 있지만 여전히 자체적으로 생성할 수 있습니다.

이제 이 확률 분포를 사용하여 새로운 이미지를 생성할 수 있습니다. 당신이 해야 할 일은 더 많은 가능한 데이터를 더 자주 생성한다는 제약 조건을 준수하면서 새로운 데이터 포인트를 무작위로 생성하는 것입니다. 이 프로세스를 분포 "샘플링"이라고 합니다. 각각의 새로운 점은 새로운 이미지입니다.

각각 백만 픽셀과 같이 더욱 사실적인 회색조 사진에도 동일한 분석이 적용됩니다. 이제는 두 개의 축 대신 각 이미지를 그리는 데 백만 개가 필요합니다. 그러한 이미지의 확률 분포는 백만 + 1차원의 복잡한 표면이 됩니다. 이 분포를 샘플링하면 백만 개의 픽셀 값이 생성됩니다. 이 픽셀을 종이에 인쇄하면 이미지가 원본 데이터 세트의 사진처럼 보일 가능성이 높습니다.

생성 모델링의 과제는 훈련 데이터를 구성하는 일부 이미지 세트에 대해 이 복잡한 확률 분포를 학습하는 것입니다. 분포는 부분적으로는 데이터에 대한 광범위한 정보를 포착하고 부분적으로는 연구자가 텍스트 및 이미지와 같은 다양한 유형의 데이터에서 확률 분포를 결합하여 금붕어가 홀짝이는 것과 같은 초현실적인 출력을 구성할 수 있기 때문에 유용합니다. 해변 코카콜라를 마셔보세요. Anandkumar는 "다양한 개념을 혼합하고 일치시켜 훈련 데이터에서 볼 수 없었던 완전히 새로운 시나리오를 만들 수 있습니다"라고 말했습니다.

2014년 GAN(Generative Adversarial Network)이라는 모델이 최초로 사실적인 이미지를 생성하는 모델이 되었습니다. 아난드쿠마르는 "정말 흥미롭다"고 말했다. 그러나 GAN은 훈련하기가 어렵습니다. 전체 확률 분포를 학습하지 못할 수도 있고 분포의 하위 집합에서만 이미지를 생성할 수도 있습니다. 예를 들어, 다양한 동물의 이미지로 훈련된 GAN은 개의 이미지만 생성할 수 있습니다.

머신러닝에는 더욱 강력한 모델이 필요합니다. 물리학에서 영감을 받아 작업한 Jascha Sohl-Dickstein이 답변을 제공할 것입니다.

야샤 솔-딕슈타인.

흥분된 장소

GAN이 발명되었을 무렵 Sohl-Dickstein은 스탠포드 대학의 박사후 연구원으로 생성 모델을 연구했으며 비평형 열역학에도 관심이 있었습니다. 이 물리학 분야는 열 평형 상태에 있지 않은 시스템, 즉 내부적으로 그리고 주변 환경과 물질과 에너지를 교환하는 시스템을 연구합니다.

물이 담긴 용기를 통해 퍼지는 파란색 잉크 방울이 예시입니다. 처음에는 한 곳에 검은 반점이 생긴다. 이때 용기의 일부 작은 부피에서 잉크 분자를 찾을 확률을 계산하려면 잉크가 퍼지기 시작하기 전의 초기 상태를 명확하게 모델링하는 확률 분포가 필요합니다. 하지만 이 분포는 복잡해서 표본 추출이 어렵습니다.

그러나 결국 잉크가 물 전체에 퍼져 물이 연한 파란색으로 변합니다. 이는 간단한 수학적 표현으로 설명되는 분자의 더 간단하고 균일한 확률 분포를 허용합니다. 비평형 열역학은 확산 과정의 각 단계에서의 확률 분포를 설명합니다. 결정적으로, 각 단계는 되돌릴 수 있습니다. 충분히 작은 단계만으로 간단한 분포에서 복잡한 분포로 돌아갈 수 있습니다.

Jascha Sohl-Dickstein은 확산 원리를 기반으로 새로운 생성 모델링 접근 방식을 만들었습니다. ——Asako Miyakawa

Sohl-Dickstein은 확산 원리를 사용하여 생성 모델링 알고리즘을 개발했습니다. 아이디어는 간단합니다. 알고리즘은 먼저 훈련 데이터 세트의 복잡한 이미지를 단순한 노이즈로 변환합니다(잉크 방울에서 물의 연한 파란색으로 변화하는 것과 유사함). 그런 다음 프로세스를 역전시키는 방법을 시스템에 가르칩니다. 이미지에 노이즈를 넣습니다.

이것이 작동 방식입니다. 먼저, 알고리즘은 훈련 세트에서 이미지를 얻습니다. 이전과 마찬가지로 백만 개의 픽셀 각각에 어떤 값이 있다고 가정하면 이미지를 백만 차원 공간의 한 점으로 그릴 수 있습니다. 알고리즘은 각 시간 단계에서 각 픽셀에 약간의 노이즈를 추가합니다. 이는 작은 시간 단계 후 잉크가 퍼지는 것과 동일합니다. 이 과정이 계속됨에 따라 픽셀 값은 원본 이미지의 값과 점점 더 관련성이 낮아지고 픽셀은 단순한 노이즈 분포처럼 보입니다. (알고리즘은 또한 모든 축의 0 값인 원점을 향해 조금씩 각 픽셀 값을 조금씩 움직입니다. 이 너지는 컴퓨터가 쉽게 처리할 수 없을 만큼 픽셀 값이 너무 커지는 것을 방지합니다.)

데이터 세트의 모든 이미지에 대해 이 작업을 수행하면 백만 차원 공간(쉽게 설명하고 샘플링할 수 없음)의 점의 초기 복잡한 분포가 원점 주변의 단순하고 정규 분포된 점이 됩니다.

Sohl-Dickstein은 "시퀀스를 매우 천천히 변환하면 데이터 분포가 큰 노이즈 공으로 변합니다."라고 말했습니다. 이 "순방향 프로세스"는 쉽게 샘플링할 수 있는 분포를 제공합니다.

다음은 기계 학습 부분입니다. 순방향 전달에서 얻은 노이즈가 많은 이미지를 신경망에 공급하고 한 단계 더 일찍 나온 노이즈가 적은 이미지를 예측하도록 훈련시킵니다. 처음에는 실수를 하기 때문에 네트워크의 매개변수를 조정하여 더 나은 결과를 얻을 수 있습니다. 궁극적으로 신경망은 단순 분포의 샘플을 나타내는 노이즈 이미지를 복잡한 분포의 샘플을 나타내는 이미지까지 안정적으로 변환할 수 있습니다.

훈련된 네트워크는 성숙한 생성 모델입니다. 이제 정방향 전달을 수행하는 데 원본 이미지가 필요하지 않습니다. 단순 분포에 대한 완전한 수학적 설명이 있으므로 이 이미지에서 직접 샘플링할 수 있습니다. 신경망은 본질적으로 정적인 이 샘플을 훈련 데이터 세트의 이미지와 유사한 최종 이미지로 변환할 수 있습니다.

Sohl-Dickstein은 확산 모델의 첫 번째 출력을 회상합니다. "당신은 눈을 가늘게 뜨고 '저 색깔의 덩어리가 트럭처럼 보이는 것 같아요'라고 말합니다."라고 그는 말했습니다. "나는 내가 좋아하는 구조를 보려고 여러 달을 보냈습니다. [그리고 이것은 내가 이전에 얻은 것보다 더 체계적입니다.] 나는 매우 기대됩니다.

앞을 내다봅니다

Sohl-Dickstein은 2015년에 확산 모델 알고리즘을 발표했지만 여전히 GAN의 기능보다 훨씬 뒤떨어져 있습니다. 확산 모델은 전체 분포를 샘플링할 수 있고 이미지의 하위 집합만 뱉어낼 수는 없지만 이미지가 더 나빠 보이고 프로세스가 너무 느립니다. Sohl-Dickstein은 "당시에는 그다지 흥미롭지 않았다고 생각합니다."라고 말했습니다.

문서 주소: ​https://doi.org/10.48550/arXiv.1503.03585​

점을 연결하려면 Sohl-Dickstein도 서로도 모르는 두 명의 학생이 필요합니다. 독창적인 작업부터 DALL·E 2와 같은 최신 확산 모델까지. 첫 번째는 당시 스탠포드 대학에서 박사과정을 밟고 있던 송씨였다. 2019년에 그와 그의 멘토는 데이터의 확률 분포(고차원 표면)를 추정하지 않는 생성 모델을 구축하는 새로운 방법을 발표했습니다. 대신 분포의 기울기를 추정합니다(고차원 표면의 기울기로 생각).

송양은 노이즈가 있는 이미지를 효율적으로 해석하기 위해 네트워크를 훈련시켜 이미지를 생성하는 새로운 기술을 제안하는 데 도움을 주었습니다.

Song은 먼저 훈련 데이터 세트의 각 이미지를 노이즈 수준을 높여 교란시킨 다음 신경망이 분포 기울기를 사용하여 원본 이미지를 예측하도록 하면 자신의 기술이 효과적으로 노이즈를 제거한다는 사실을 발견했습니다. 일단 훈련되면 그의 신경망은 단순한 분포에서 잡음이 있는 이미지를 추출하고 점차적으로 훈련 데이터 세트를 대표하는 이미지로 다시 변환할 수 있습니다. 이미지 품질은 훌륭하지만 그의 기계 학습 모델은 샘플링 속도가 매우 느립니다. 그리고 그는 Sohl-Dickstein의 작업에 대해 아무것도 모르고 그 일을 했습니다. 송씨는 “확산모델에 대해서는 전혀 몰랐다”고 말했다. "2019년 논문이 출판된 후 Jascha로부터 이메일을 받았습니다. 그는 [우리 모델]이 매우 밀접하게 관련되어 있다고 지적했습니다."

2020년에 두 번째 학생이 이러한 연결을 보고 Song의 모델이 이 연구는 Sohl-Dickstein 확산 모델을 개선할 수 있습니다. 조나단 호(Jonathan Ho)는 최근 캘리포니아 대학교 버클리 캠퍼스에서 생성 모델링 박사 연구를 마쳤지만 여전히 연구를 계속하고 있습니다. "나는 이것이 기계 학습의 수학적으로 가장 아름다운 하위 분야라고 생각합니다"라고 그는 말했습니다.

Ho는 송의 아이디어와 신경망 분야의 기타 발전을 사용하여 Sohl-Dickstein 확산 모델을 재설계하고 업데이트했습니다. “커뮤니티의 관심을 끌기 위해서는 아름다운 샘플을 생성할 모델이 필요하다는 것을 알고 있었습니다.”라고 그는 말했습니다. "그때 내가 할 수 있는 가장 중요한 일이라고 확신했어요."

그의 직감이 맞았습니다. Ho와 동료들은 "Denoising Probabilistic Diffusion Models"라는 제목의 2020년 논문에서 이 새롭고 향상된 확산 모델을 발표했습니다. 이는 연구자들이 이제 간단히 DDPM이라고 부르는 랜드마크가 되었습니다. 생성된 이미지의 분포와 훈련 이미지의 분포를 비교하는 이미지 품질 벤치마크에서 이 모델은 GAN을 포함한 모든 경쟁 생성 모델과 일치하거나 능가했습니다. 대기업이 이를 깨닫는 데는 그리 오랜 시간이 걸리지 않았습니다. 현재 DALL·E 2, Stable Diffusion, Imagen 및 기타 상용 모델은 DDPM의 일부 변형을 사용합니다.

Jonathan Ho와 동료들은 Sohl-Dickstein과 Song의 방법을 결합하여 DALL·E 2와 같은 최신 확산 모델을 구현했습니다.

현대 확산 모델의 또 다른 핵심 요소는 GPT-3과 같은 LLM(대형 언어 모델)입니다. 이는 이미지가 아닌 단어에 대한 확률 분포를 학습하기 위해 인터넷 텍스트를 학습한 생성 모델입니다. 2021년에 Ho(현재 스텔스 회사의 연구 과학자)와 Google Research의 동료 Tim Salimans 및 기타 다른 그룹은 LLM의 정보와 텍스트를 사용하여 이미지 생성 확산 모델(예: 'Goldfish Sipping Coca-Cola')의 정보를 결합하는 방법을 보여주었습니다. 해변에서") 확산 과정과 이미지 생성을 안내합니다. 이러한 "유도 확산" 프로세스는 DALL·E 2와 같은 텍스트-이미지 모델의 성공 뒤에 있습니다.

"그들은 내 기대를 훨씬 뛰어 넘었습니다"라고 Ho는 말했습니다. "다 본 척은 하지 않겠습니다."

질문 만들기

이러한 모델의 성공에도 불구하고 DALL·E 2와 동급 제품의 그래픽은 아직 완벽하지 않습니다. 대규모 언어 모델은 생성된 텍스트에 인종차별, 성차별과 같은 문화적, 사회적 편견을 반영할 수 있습니다. 그 이유는 그들은 종종 인종차별적이고 성차별적인 언어가 포함된 인터넷에서 가져온 텍스트에 대해 훈련을 받았기 때문입니다. 그러한 텍스트에 대한 확률 분포를 학습하는 LLM에는 동일한 편향이 있습니다. 확산 모델은 또한 유사하게 편향된 데이터를 포함할 수 있는 인터넷에서 가져온 선별되지 않은 이미지에 대해 훈련됩니다. LLM과 오늘날의 커뮤니케이션 모델을 결합하면 때때로 사회적 병폐를 반영하는 이미지가 생성되는 것은 놀라운 일이 아닙니다.

Anandkumar는 개인적인 경험을 가지고 있습니다. 그녀는 확산 모델을 기반으로 한 애플리케이션을 사용하여 자신의 스타일화된 아바타를 생성하려고 시도했을 때 충격을 받았습니다. "너무 많은 이미지가 매우 성적으로 묘사되어 있습니다. 그리고 그것이 남성들에게 보여주는 것은 그녀뿐만이 아닙니다."

이러한 편향은 데이터를 정렬하고 필터링하거나(데이터세트의 크기를 고려하면 매우 어려운 작업) 이러한 모델의 입력 단서와 출력을 검사하여 줄일 수 있습니다. Ho는 "물론 모델에 대한 신중하고 광범위한 보안 테스트를 대체할 수 있는 것은 없습니다"라고 말했습니다. "이것은 현장에서 중요한 도전입니다."

이러한 우려에도 불구하고 Anandkumar는 여전히 생성 모델링의 힘을 믿습니다. “저는 리처드 파인만의 명언인 '내가 만들 수 없는 것은 이해할 수 없다'는 말을 정말 좋아합니다.”라고 그녀는 말합니다. 이해도가 높아짐에 따라 그녀의 팀은 얼굴 인식을 위한 어두운 피부색과 같이 예측 작업을 위해 제대로 표현되지 않은 클래스에 대한 합성 교육 데이터를 생성하는 생성 모델을 개발하여 공정성을 향상하는 데 도움을 줄 수 있습니다. 생성 모델은 또한 우리의 두뇌가 시끄러운 입력을 처리하는 방법이나 정신적 이미지를 불러일으키는 방법 및 향후 행동을 고려하는 방법에 대한 통찰력을 제공할 수 있습니다. 더 복잡한 모델을 구축하면 AI와 유사한 기능을 제공할 수 있습니다.

Anandkumar는 "생성 인공 지능의 가능성을 이제 막 탐구하기 시작한 것 같습니다."라고 말했습니다.

위 내용은 현대 인공지능 예술에 영감을 주는 물리적 원리, 생성적 인공지능의 가능성 탐구가 이제 막 시작되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!