이 모델은 전 Tesla AI 디렉터 Andrej Karpathy를 3일 동안 사로잡았습니다!

최근 Xander Steenbrugge라는 AI 연구원이자 디지털 아티스트가 매우 충격적인 동영상 "Journey Across Time"을 업로드했습니다.

원시 해양에서 시작하여 고대 도마뱀, 공룡, 포유류, 원숭이, 오랑우탄, 유인원, 호모 사피엔스에 이르기까지 지구상 생명체의 위대한 진화... 그리고 마침내 SF 속 미래 세계가 나타났습니다.

그리고 Steenbrugge도 다음과 같이 신나게 논평했습니다. 우리는 생성 AI가 더 이상 새로운 미학에 관한 것이 아니라 강력하고 인간 중심적인 내러티브를 구축하기 위한 놀라운 도구로 진화한 문턱을 넘어섰습니다. Steenbrugge는 해당 영상이 36개의 연속된 문구를 사용했다고 말했습니다. 가능한 최상의 순서를 찾기 위해 그는 수천 개가 넘는 다양한 힌트와 시드를 시도했으며 코드에 많은 "힌트 엔지니어링" 기술을 적용하여 무엇이 효과가 있고 무엇이 효과가 없는지 알아냈습니다.

전 Tesla AI 수석 이사인 Andrej Karpathy는 이 글을 읽은 후 너무 충격을 받아서 시도해 볼 수밖에 없었습니다.

"뇌 모양의 초현실적인 스팀펑크 신경망 기계가 베이스에 배치되고 기어로 구성된 뉴런으로 덮여 있습니다." 이 텍스트를 입력한 후 그의 걸작도 생성되었습니다.

무작위 노이즈 입력을 사용하여 모델 간 부드러운 보간을 통해 생성된 2분짜리 비디오(A100에서 렌더링된 약 1시간).

Stable Diffusion이라는 이 모델은 두 문장의 의미 사이에 "보간" 방법을 사용합니다. 삽입은 시각적인 것이 아니라 의미론적인 공백이므로 이야기가 전달되는 방식을 극적으로 변화시킵니다.

그리고 이것은 생성 인공 지능이 주도하는 디지털 콘텐츠 제작 혁명의 시작일 뿐입니다.

‍안정적인 확산: 오픈 소스 모델을 위한 이정표

2021년 초부터 텍스트 설명에서 이미지를 생성할 수 있는 인공지능이 빠르게 발전하고 있습니다. 당시 OpenAI는 DALL-E 1과 CLIP을 통해 인상적인 결과를 보여주었습니다.

2022년 OpenAI는 인상적인 DALL-E 2를 출시했고, Google은 Imagen과 Parti를 시연했고, Midjourney는 공개 베타를 출시했으며, Craiyon이 만든 AI 이미지는 다양한 소셜 미디어에 퍼졌습니다.

그리고 최근 Stability AI는 Stable Diffusion이라는 새로운 모델을 출시했습니다.

DALL-E 2와 달리 Stable Diffusion은 OpenAI에서 금지한 다양한 주목할만한 인물을 생성할 수 있습니다.

Midjourney, Pixelz.ai 등과 같은 시스템도 가능하지만 생성되는 품질은 Stable Diffusion과 비교할 수 없으며 오픈 소스가 아닙니다.

이제 우리는 오랜 친구 머스크를 초대하여 몇 초 만에 "블랙 위도우"(스칼렛 요한슨)로 변신합니다.

분명히 Stability AI는 수석 개발자로서 둘 이상의 회사나 팀이 Stable Diffusion의 변형을 훈련할 수 있기를 바랍니다.

예를 들어, 당신은 엄청난 GPU 컴퓨팅 능력을 갖고 있지 않은 연구원입니다. 걱정하지 마십시오. Stable Diffusion은 곧 5.1GB VRAM만 있는 그래픽 카드에서 실행될 수 있습니다.

또 다른 예로, 평소 Apple M1 칩이 탑재된 MacBook을 사용하는 팬이라면 Stable Diffusion도 실행할 수 있습니다. 그러나 이미지 생성 시간은 초에서 분으로 변경됩니다.

다중 모드 모델은 대규모 언어 모델이 이전에 택했던 길을 따라가고 있는 것 같습니다. 즉, 단일 공급업체에서 벗어나 오픈 소스를 통해 수많은 대안을 널리 사용할 수 있게 만드는 것입니다.

또한 Runway에서는 이미 Stable Diffusion을 기반으로 text-to-video 편집을 구현하는 방법을 연구하고 있습니다.

한마디로 테니스 코트를 해변으로 바꿔보세요.

날씨가 맑거나 번개가 치더라도

달에 있든 화성에 있든;

테니스를 치는 것을 막을 수 있는 것은 아무것도 없습니다...

계산을 사용하여 기본 AI 오픈 소스 가속화

테스트 단계 후에 Stable Diffusion은 무료로 제공되며 코드와 훈련된 모델은 공개로 출시됩니다. 원천. 사용자가 시스템을 테스트할 수 있는 웹 인터페이스가 포함된 호스팅 버전도 있을 것입니다.

Stable Diffusion은 Stability AI, RunwayML, LMU 뮌헨, EleutherAI 및 LAION 연구원 간의 협력의 결과입니다. EleutherAI는 오픈 소스 언어 모델 GPT-J-6B 및 GPT-NeoX-20B 등으로 유명합니다.

비영리단체 LAION(Open Network for Large-Scale Artificial Intelligence)은 훈련 데이터용 오픈소스 LAION 5B 데이터세트를 제공했으며, 팀은 초기 테스트 단계에서 인간의 피드백을 기반으로 필터링하여 최종 LAION을 만들었습니다. -미학 훈련 데이터 세트.

Runway의 Patrick Esser와 LMU 뮌헨의 Robin Rombach가 프로젝트를 이끌었고, 하이델베르그 대학교 CompVis 그룹의 연구가 프로젝트의 토대를 마련했습니다. 하이델베르그 대학교에서는 널리 사용되는 VQGAN과 Latent Diffusion을 만들었습니다. 이 두 모델은 OpenAI와 Google Brain의 결과와 결합되어 Stable Diffusion을 가능하게 합니다.

Stability AI는 2020년에 설립되었으며, 그 뒤에 있는 투자자는 수학자이자 컴퓨터 과학자인 Emad Mostaque입니다. 그는 다양한 헤지펀드에서 분석가로 일했습니다.

Stability AI와 그의 개인 재산을 통해 Mostaque는 오픈 소스 AI 연구 커뮤니티를 육성하기를 희망합니다. 그의 스타트업은 이전에 "LAION 5B" 데이터 세트 생성을 지원했습니다. Stable Diffusion의 모델을 훈련하기 위해 Stability AI는 4,000개의 Nvidia A100 GPU가 탑재된 서버를 제공했습니다.

"저희 75명의 직원 외에는 누구도 의사결정권을 갖고 있지 않습니다. 억만장자, 대형 펀드, 정부 모두 우리는 완전히 독립적입니다."라고 Mostaque는 말했습니다. "우리는 컴퓨팅을 사용하여 기초 인공 지능의 오픈 소스를 가속화할 계획입니다."

네티즌들이 열광하고 있습니다

처음에 두 개의 영상 외에도 일부 네티즌들은 Stable Diffusion을 사용하여 노화 애니메이션을 생성했습니다.

그는 제작 중에 긴 프롬프트에서 단어를 변경하는 것이 짧은 프롬프트보다 더 미묘한 효과가 있다고 말했습니다. 또한 10세, 40세, 80세 등 특정 연령을 언급하는 것보다 노년, 중년, 젊은 등의 설명을 사용하는 것이 더 효과적인 경우가 많습니다.

이 외에도 몽환적인 스틸컷이 다양하게 담겨있습니다.

"Lover"

"Lion"

Leyendecker와 Maxence가 쓴 "Dark Soul"

"사이버 북경 오페라"

이스터 에그

Tesla의 전 인공지능 및 자율주행 비전 디렉터인 Andrej Karpathy의 학대를 경험해 보세요.

마스터님이 만들어주신 영상을 보고 Karpathy는 매우 신났습니다.

일련의 작업을 통해 얻은 결과는 소규모 유치원 수업에서도 위화감을 느끼지 않을 것입니다. 절망적인 Karpathy는 자신을 위해 그것을 만들 "신속한 엔지니어"를 고용하고 싶다고 말했습니다. 마침내 Karpathy는 정신을 차리고 매우 만족스러운 새로운 작품인 스팀펑크 인공 신경망 기계와 블루베리 파스타를 만들었습니다.

위 내용은 이 모델은 전 Tesla AI 디렉터 Andrej Karpathy를 3일 동안 사로잡았습니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!