프린스턴 인피니젠 매트릭스 오픈! AI 크리에이터가 자연을 100% 창조해 폭발할 정도로 생생하다

네오는 자신이 살고 있는 세상이 실제가 아니라 세심하게 설계된 시뮬레이션 현실이라는 것을 알게 됩니다.

그리고 당신은 잠시 동안 우리가 살고 있는 세상이 시뮬레이션된 매트릭스 세계라고 생각했습니다.

그리고 이제 매트릭스가 정식으로 오픈되었습니다.

차분하게 느껴보세요. 오랫동안 인간이 살아온 이 지구, 자연의 모든 것은 환상의 세계입니다.

북극의 빙하 위로 태양이 떠오릅니다. 수중 세계에는 온갖 종류의 이상한 물고기와 다채로운 산호초가 있습니다.

산에는 눈이 날고 있고, 넓은 하늘에는 독수리가 솟아오르고 있습니다. 뜨거운 사막에서는 위험한 뱀들이 자유롭게 돌아다닙니다.

강가의 작은 나무들이 맹렬한 불길로 타오르고 연기로 가득 찼습니다.

맑고 투명한 바다와 개울, 해변에서 여유롭게 일광욕을 즐기고 있는 거북이들, 공중에서 노는 수많은 잠자리들.

동굴 속 빛과 그림자의 변화.

떨어지는 빗방울과 바람에 떨어지는 단풍잎이 갑자기 시간을 멈추게 했습니다.

당신이 보는 모든 것은 인공지능에 의해 디자인되었습니다. 그들의 시뮬레이션은 너무 현실적이어서 현실 자체로 착각합니다.

이 매트릭스의 문을 연 팀은 프린스턴 출신인데, 그 연구는 즉시 인터넷에서 난리를 일으켰습니다.

네티즌들은 우리가 매트릭스에 살고 있다는 것이 밝혀졌다고 말했습니다!

논문에서 연구진은 자연계를 위한 사실적인 3D 장면 절차 생성기 "Infinigen"을 소개했습니다.

Infinigen은 모양부터 질감까지 완전히 절차적이며 모두 무작위 수학적 규칙을 통해 처음부터 생성됩니다.

심지어 식물, 동물, 자연 속 지형은 물론 불, 구름, 비, 눈 등의 자연현상까지 아우르며 끝없이 변화할 수 있습니다.

최신 논문이 CVPR 2023에 승인되었습니다.

문서 주소: https://arxiv.org/pdf/2306.09310.pdf

Infinigen은 무료 오픈 소스 그래픽 도구 Blender를 기반으로 구축되었으며 Infinigen도 오픈 소스입니다.

한 쌍의 1080p 이미지를 3.5시간 만에 생성할 수 있다는 점은 언급할 가치가 있습니다!

Infinite CV Data Generator

프린스턴 대학에서 제공하는 Infinigen은 다양한 특정 작업에 대한 실제 상황을 생성하도록 쉽게 사용자 정의할 수 있습니다.

다음은 자연의 다양성을 시뮬레이션한 것입니다.

그리고 가장 중요한 역할은 광범위한 컴퓨터 비전 작업을 위한 무제한 교육 데이터 생성기로 사용할 수 있다는 것입니다.

그 중에는 표적 탐지, 의미론적 분할, 포즈 추정, 3D 재구성, 뷰 합성 및 비디오 생성이 포함됩니다.

또한 가상 구현 에이전트는 물론 물리적 로봇 훈련을 위한 시뮬레이션 환경을 구축하는 데에도 사용할 수 있습니다.

물론 3D 프린팅, 게임 개발, 가상 현실, 영화 제작, 일반 콘텐츠 제작까지 모두 가능합니다.

다음으로 인피니젠 시스템이 어떻게 설계되었는지 살펴보겠습니다.

블렌더 미리보기.

연구원들은 절차적 규칙을 개발하기 위해 주로 Blender를 사용합니다. Blender는 다양한 기본 요소와 실용적인 도구를 제공하는 오픈 소스 3D 모델링 소프트웨어입니다.

Blender는 장면을 배치된 개체의 계층 구조로 나타냅니다.

그리고 사용자는 객체를 변형하고, 프리미티브를 추가하고, 메쉬를 편집하여 이 표현을 수정합니다.

Blender는 가장 일반적인 3D 파일 형식의 가져오기/내보내기를 제공합니다.

마지막으로 Blender의 모든 것은 Python API를 통해 또는 오픈 소스 코드를 확인하여 자동화할 수 있습니다.

노드 번역기.

Infinigen의 일환으로 연구원들은 연구원의 절차 모델링을 가속화하기 위한 새로운 도구 세트를 개발했습니다.

한 가지 주목할 만한 예는 그림과 같이 노드 그래프를 Python 코드로 자동 변환하는 연구원의 Node Converter입니다.

결과 코드는 더 일반적이며 연구자가 단순히 입력 매개 변수가 아닌 그래프 구조를 무작위로 지정할 수 있습니다.

이 도구를 사용하면 노드 다이어그램의 표현력이 더욱 향상되고 Python 또는 C++에서 직접 개발된 다른 프로그래밍 규칙과 쉽게 통합할 수 있습니다.

또한 프로그래머가 아닌 사람도 노드 그래프를 만들어 Python 코드를 Infinigen에 기여할 수 있습니다.

발전기 하위 시스템. Infinigen은 각각 자산의 하위 클래스(예: 산 또는 물고기)를 생성하는 데 특화된 확률 프로그램인 생성기로 구성됩니다.

각 생성기에는 사용자가 제어할 수 있는 외부 자유도를 반영하는 높은 수준의 매개변수 세트(예: 산의 전체 높이)가 있습니다.

기본적으로 연구원은 사용자 입력 없이 자연을 반영하도록 조정된 분포를 기반으로 이러한 매개변수를 무작위로 샘플링합니다.

그러나 사용자는 연구원의 Python API를 사용하여 모든 매개변수를 재정의하여 데이터 생성을 세밀하게 제어할 수도 있습니다.

아래 사진은 지형만 포함된 랜덤 장면입니다. 연구진은 다양한 자연 장면 유형의 이미지 13개를 선택했습니다.

산, 솟아오르는 강, 눈 덮인 산, 해안 일출, 수중, 북극 빙산, 사막, 동굴, 협곡 및 떠다니는 섬입니다.

아래 사진은 연기, 폭포, 화산 폭발 장면 등 화재를 시뮬레이션한 무작위로 생성된 사진입니다.

잎, 꽃, 버섯, 솔방울.

나무, 선인장, 관목.

바다 생물.

다양한 유형의 표면.

아래 그림은 유기체의 세대를 보여줍니다.

연구원들은 다양한 게놈(a), 신체 부위(b), 신체 부위 접합(c), 머리카락(d) 및 신체 자세(e)를 자동으로 생성했습니다.

사진 오른쪽에는 연구원들이 무작위로 생성한 육식동물, 초식동물, 새, 딱정벌레, 물고기가 전시되어 있습니다.

아래 그림에서 연구원들은 프로그래밍 방식으로 임의의 장면 레이아웃을 구성했습니다(a).

연구원은 필요한 모든 이미지 콘텐츠를 생성하고(b, 각 메쉬 면의 색상을 표시하기 위해) 프로그래밍된 재료와 변위를 적용합니다(c).

드디어 실제 이미지를 렌더링합니다(d).

아래 사진은 동적 해상도 스케일링을 보여줍니다.

연구원들은 거리가 다르지만 내용은 동일한 세 대의 카메라에 대한 클로즈업 그리드 시각화를 시연했습니다.

그리드 해상도는 다르지만 최종 이미지에는 변화가 없습니다.

실험 결과

Infinigen을 평가하기 위해 연구원들은 수정된 스테레오 매칭을 위해 Ground Truth와 함께 30K 이미지 쌍을 생성했습니다.

연구원들은 이러한 이미지에 대해 RAFTStereo 교육을 시작했고 Middlebury 검증 세트와 테스트 세트의 결과를 비교했습니다.

이 연구 코드는 오늘 막 출시되었으며 이미 별 99개를 받았습니다.

"Westworld" 데자뷰

NVIDIA 과학자 Jim Fan은 실제로 좋은 훈련 데이터가 없을 때 시뮬레이션이 다음 "금광"이라고 말했습니다.

여기서 Infinigen은 3D 비전을 위한 프로그래밍 방식으로 생성된 현실적인 데이터 세트인 오픈 소스입니다. 품질이 놀랍습니다! 두 세계는 동일하지 않습니다.

▸ 모든 작은 세부 사항은 무작위로 맞춤화할 수 있으며 심지어 꽃잎의 주름까지 가능합니다!

▸ 식물, 동물, 지형, 불, 구름, 비, 눈 등 자연의 다양한 물체와 장면.

▸ Ground Truth의 자동 주석: 광학 흐름, 3D 장면 흐름, 깊이, 표면 법선 벡터, 파노라마 분할, 닫힌 경계.

▸ 블렌더로 작성되었습니다.

일부 네티즌들은 이것이 정말 눈이 번쩍 뜨이는 일이라고 말했습니다. Blender에서 절차적으로 3D 세계를 생성합니다. AI를 사용하지 않고도 상상할 수 있는 모든 세상을 만들 수 있습니다.

Daz3D와 같은 도구를 결합하여 세계를 만들고, Blockade Labs를 사용하여 스카이박스를 만들고, Convai를 사용하여 NPC를 만듭니다.

일부에서는 인피니젠이 인공지능 컴퓨터 비전 연구에 한몫을 하게 될 것이라고도 했습니다.

미래에는 인공지능이 모든 일을 처리할 것이라고 믿습니다.

예를 들어 안개가 자욱한 숲 속에 폭포가 있는 마을을 만들고 싶습니다.

AI에게 숲에 대한 자세한 설명을 작성하여 3D 세계 생성기로 보내라고 지시합니다.

세계가 생성된 후 마을에 캐릭터를 추가할 수 있습니다. 이 사람들은 인공지능의 통제를 받으며 상호작용과 대화, 추억을 갖게 될 것이다.

일종의 Westworld 러시입니다.

그리고 일부 네티즌들은 절차적 세대가 20년 동안 있었다고 말했습니다(저는 15년 동안 했습니다). "No Man's SKy"는 5년 전 기술의 훌륭한 예입니다.

Infinigen의 하이라이트는 라벨링된 데이터를 생성한다는 것입니다. 이 데이터는 AI 훈련에 사용될 수 있습니다. 그건 미친 짓이야.

일부 네티즌들은 가까운 미래에 게임이 미친 듯이 변할 것이라고 상상합니다. "독립" 게임 개발자들은 미친 고급 콘텐츠를 출시할 수 있을 것입니다.

Infinigen 세대는 너무 현실적이어서 일부 사람들은 Unreal Engine에서 생성되었다고 생각합니다.

저자 소개

Alexander Raistrick

Alexander Raistrick은 프린스턴 대학교 컴퓨터 공학과의 2년차 박사 과정 학생이며 그의 지도교수는 J입니다. 아이아 뎅.

Lahav Lipson

Lahav Lipson은 프린스턴 대학교에서 박사 과정을 밟고 있는 3년차 학생입니다.

그의 연구는 더 나은 일반화 및 테스트 정확도를 달성하기 위해 에피폴라 기하학에 대한 강력한 가정을 활용하여 3D 비전을 위한 심층 네트워크를 구축하는 데 중점을 두고 있습니다.

Zeyu Ma

Zeyu Ma는 프린스턴 대학교 비전 및 학습 연구소의 3년차 박사 과정 지원자입니다. 그는 2020년 칭화대학교에서 전자공학 학사학위를 취득했습니다. 현재 연구는 다중 뷰 3D 재구성 및 절차적 데이터 생성에 중점을 두고 있습니다.

위 내용은 프린스턴 인피니젠 매트릭스 오픈! AI 크리에이터가 자연을 100% 창조해 폭발할 정도로 생생하다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!