GPT-5 미리보기! Allen Institute for Artificial Intelligence, GPT-5의 새로운 기능을 예측하는 가장 강력한 다중 모드 모델 출시

GPT-5는 언제 출시되며 어떤 기능을 갖게 되나요?

Allen Institute for AI의 새로운 모델이 답을 알려드립니다.

Allen Institute for Artificial Intelligence에서 출시한 Unified-IO 2는 텍스트, 이미지, 오디오, 비디오 및 액션 시퀀스를 처리하고 생성할 수 있는 최초의 모델입니다.

이 고급 AI 모델은 수십억 개의 데이터 포인트를 사용하여 학습되었습니다. 모델 크기는 7B에 불과하지만 현재까지 가장 광범위한 다중 모드 기능을 보여줍니다.

논문 주소: https://arxiv.org/pdf/2312.17172.pdf

그렇다면 Unified-IO 2와 GPT-5의 관계는 무엇일까요?

2022년 6월 Allen Institute for Artificial Intelligence는 1세대 Unified-IO를 출시하여 이미지와 언어를 동시에 처리할 수 있는 다중 모드 모델 중 하나가 되었습니다.

동시에 OpenAI는 내부적으로 GPT-4를 테스트하고 있으며 2023년 3월에 공식 출시할 예정입니다.

그래서 Unified-IO는 미래의 대규모 AI 모델의 예고편이라고 볼 수 있습니다.

OpenAI는 내부적으로 GPT-5를 테스트하고 있으며 몇 달 안에 출시할 예정입니다.

이번 Unified-IO 2에서 보여준 기능은 새해에도 기대할 수 있는 기능이 될 것입니다.

GPT-5 및 기타 새로운 AI 모델은 더 많은 양식을 처리할 수 있습니다. 로컬 방식으로 많은 작업을 수행하고 객체 및 로봇과의 상호 작용에 대한 기본적인 이해를 제공합니다.

Unified-IO 2의 교육 데이터에는 10억 개의 이미지-텍스트 쌍, 1조 개의 텍스트 태그, 1억 8천만 개의 비디오 클립, 텍스트가 포함된 1억 3천만 개의 이미지, 3백만 개의 3D 자산 및 1백만 개의 로봇 에이전트 모션 시퀀스가 ​​포함됩니다.

연구팀은 총 120개 이상의 데이터 세트를 220개의 시각, 언어, 청각 및 운동 작업을 포괄하는 600TB 패키지로 결합했습니다.

Unified-IO 2는 훈련을 안정화하고 다중 모드 신호를 효과적으로 활용하기 위해 일부 변경된 인코더-디코더 아키텍처를 채택합니다.

모델은 질문에 답하고, 지침에 따라 텍스트를 작성하고, 텍스트 내용을 분석할 수 있습니다.

모델은 이미지 콘텐츠를 식별하고, 이미지 설명을 제공하고, 이미지 처리 작업을 수행하고, 텍스트 설명을 기반으로 새 이미지를 생성할 수도 있습니다.

또한 설명이나 지침에 따라 음악이나 소리를 생성할 수 있을 뿐만 아니라 비디오를 분석하고 이에 대한 질문에 답할 수도 있습니다.

Unified-IO 2는 교육용 로봇 데이터를 사용하여 명령을 로봇의 작업 시퀀스로 변환하는 등 로봇 시스템에 대한 작업을 생성할 수도 있습니다.

다중 모드 교육 덕분에 이미지의 특정 트랙에 사용된 악기에 라벨을 지정하는 등 다양한 양식도 처리할 수 있습니다.

Unified-IO 2는 이미지 생성 및 이해, 자연어 이해, 비디오 및 오디오 이해, 로봇 조작을 포함하여 35개 이상의 벤치마크에서 우수한 성능을 발휘합니다.

대부분의 작업에서는 전용 모델과 같거나 그 이상입니다.

Unified-IO 2는 이미지 작업에 대한 GRIT 벤치마크에서 지금까지 가장 높은 점수를 획득했습니다(GRIT는 모델이 이미지 노이즈 및 기타 문제를 처리하는 방법을 테스트하는 데 사용됩니다).

이제 연구원들은 Unified-IO 2를 더욱 확장하고, 데이터 품질을 개선하고, 인코더-디코더 모델을 업계 표준 디코더 모델 아키텍처로 변환할 계획입니다.

Unified-IO 2

Unified-IO 2는 이미지, 텍스트, 오디오 및 모션을 이해하고 생성할 수 있는 최초의 자동 회귀 다중 모드 모델입니다.

다양한 양식을 통합하기 위해 연구자들은 입력 및 출력(이미지, 텍스트, 오디오, 동작, 경계 상자 등)을 공유 의미 공간으로 분류한 다음 단일 인코더-디코더 변환기 모델을 사용하여 처리합니다.

모델을 훈련하는 데 사용되는 많은 양의 데이터와 다양한 양식에서 발생하기 때문에 연구원들은 전체 훈련 프로세스를 개선하기 위해 일련의 기술을 채택했습니다.

여러 양식에 걸쳐 신호에 대한 자가 지도 학습을 효과적으로 촉진하기 위해 연구원들은 교차 모드 잡음 제거와 생성을 결합한 잡음 제거기 타겟의 새로운 다중 모드 하이브리드를 개발했습니다.

또한 매우 가변적인 시퀀스를 처리하기 위해 훈련 처리량을 4배 증가시키기 위해 동적 패킹이 개발되었습니다.

훈련의 안정성과 확장성 문제를 극복하기 위해 연구원들은 2D 회전 임베딩, QK 정규화, 스케일링된 코사인 주의 메커니즘을 포함하여 퍼셉트론 리샘플러의 아키텍처를 변경했습니다.

명령 조정의 경우 기존 미션을 사용하든 새 미션을 만들든 각 미션에 명확한 프롬프트가 있는지 확인하세요. 개방형 과제도 포함되어 있으며, 과제와 교육 다양성을 향상시키기 위해 덜 일반적인 패턴에 대해 합성 과제가 생성됩니다.

통합 작업 표현

다음 측면을 포함하여 다중 모달 데이터를 공유 표현 공간의 토큰 시퀀스로 인코딩합니다.

텍스트, 희소 구조 및 연산

텍스트 입력 및 출력은 다음과 같습니다. LLaMA의 바이트 쌍 인코딩을 사용하여 토큰화되고 경계 상자, 키포인트 및 카메라 포즈와 같은 희소 구조가 구분된 다음 어휘에 추가된 1000개의 특수 토큰을 사용하여 인코딩됩니다.

점은 2개의 마커(x, y)를 사용하여 인코딩되고, 상자는 4개의 마커 시퀀스(왼쪽 상단 및 오른쪽 하단)로 인코딩되며, 3D 직육면체는 12개의 마커(투영 중심, 가상 깊이, 쌍 인코딩)로 표시됩니다. (정규화된 상자 크기의 수 및 지속적인 동심 회전).

구현된 작업의 경우 개별 로봇 동작이 텍스트 명령(예: "앞으로 이동")으로 생성됩니다. 특수 태그는 로봇의 상태(예: 위치 및 회전)를 인코딩하는 데 사용됩니다.

이미지 및 조밀한 구조

이미지는 사전 훈련된 ViT(Visual Transformers)를 사용하여 인코딩됩니다. ViT의 두 번째 레이어와 두 번째 레이어의 패치 기능이 연결되어 낮은 수준과 높은 수준의 시각적 정보를 캡처합니다.

이미지를 생성할 때 VQ-GAN을 사용하여 이미지를 개별 마커로 변환합니다. 여기서는 패치 크기가 8×8인 조밀한 사전 훈련된 VQ-GAN 모델을 사용하여 256×256 이미지를 1024개 토큰과 코드북 크기는 16512입니다.

그런 다음 각 픽셀의 레이블(깊이, 표면 법선 및 이진 분할 마스크 포함)을 RGB 이미지로 표현합니다.

Audio

U-IO 2는 최대 4.08초의 오디오를 스펙트로그램으로 인코딩한 다음 사전 훈련된 오디오 스펙트로그램 변환기(AST)를 사용하여 스펙트로그램을 인코딩하고 AST의 두 번째 및 두 번째 레이어 기능을 연결합니다. 이미지 ViT와 마찬가지로 선형 레이어를 적용하여 입력 임베딩을 구축합니다.

오디오를 생성할 때 ViT-VQGAN을 사용하여 오디오를 개별 토큰으로 변환합니다. 모델의 패치 크기는 8×8이고, 256×128 스펙트로그램은 512 토큰으로 인코딩됩니다.

이미지 및 오디오 기록

이 모델을 사용하면 최대 4개의 추가 이미지 및 오디오 세그먼트를 입력으로 제공할 수 있으며 이러한 요소는 ViT 또는 AST를 사용하여 인코딩된 다음 퍼셉트론 리샘플러를 사용하여 기능이 더욱 향상됩니다. 더 작은 숫자(이미지의 경우 32, 오디오의 경우 16)로 압축됩니다.

이를 통해 시퀀스 길이가 크게 줄어들고 모델이 기록의 요소를 컨텍스트로 사용하면서 이미지나 오디오 클립을 매우 자세하게 검사할 수 있습니다.

안정적인 훈련을 위한 모델 아키텍처 및 기술

연구원들은 다른 모드를 통합함에 따라 U-IO를 사용한 후 표준 구현이 점점 더 불안정한 훈련으로 이어지는 것을 관찰했습니다.

아래 (a)와 (b)에서 볼 수 있듯이 이미지 생성(녹색 곡선)에 대해서만 훈련하면 안정적인 손실 및 기울기 표준 수렴이 이루어집니다.

이미지와 텍스트 작업(주황색 곡선)의 조합을 도입하면 단일 양식에 비해 그라데이션 표준이 약간 증가하지만 안정적으로 유지됩니다. 그러나 비디오 양식(파란색 곡선)을 포함하면 그래디언트 표준이 무제한으로 업그레이드됩니다.

그림의 (c)와 (d)에서 볼 수 있듯이 XXL 버전의 모델이 모든 양식에 대해 학습되면 350,000 단계 후에 손실이 폭발하고 다음 마커 예측 정확도는 400,000걸음이 떨어지고 있습니다.

이 문제를 해결하기 위해 연구원들은 다양한 아키텍처 변경을 수행했습니다.

각 Transformer 레이어에 RoPE(Rotation Position Embedding)를 적용합니다. 텍스트가 아닌 형식의 경우 RoPE는 2D 위치로 확장됩니다. 이미지 및 오디오 형식이 포함되면 내적 주의 계산 전에 LayerNorm이 Q 및 K에 적용됩니다.

또한 퍼셉트론 리샘플러를 사용하면 각 이미지 프레임과 오디오 클립이 고정된 수의 토큰으로 압축되고 스케일링된 코사인 어텐션을 사용하여 퍼셉트론에 더 엄격한 정규화를 적용하므로 상당히 안정적인 열차가 됩니다.

수치적 불안정성을 방지하기 위해 float32 attention logarithm도 활성화되며 ViT 및 AST는 사전 훈련 중에 동결되고 명령 조정이 끝나면 미세 조정됩니다.

위 그림은 입력 및 출력 양식의 이질성에도 불구하고 모델의 사전 훈련 손실이 안정적임을 보여줍니다.

멀티모달 훈련 목표

이 문서는 UL2 패러다임을 따릅니다. 이미지 및 오디오 대상의 경우 두 가지 유사한 패러다임이 여기에 정의되어 있습니다.

[R]: 마스크 제거, 입력 이미지 또는 오디오 패치 기능의 x%를 무작위로 마스킹하고 모델이 이를 재구성하도록 함

[S] : 모델이 다른 입력 모달 조건에서 목표 모달리티를 생성해야 합니다.

훈련 중에 모달 마커([텍스트], [이미지] 또는 [오디오]) 및 패러다임 마커([R], [S] 또는 [X])를 입력 텍스트 앞에 붙여 작업을 나타냅니다. , 자동 회귀에 동적 마스킹을 사용합니다.

위 그림에서 볼 수 있듯이 이미지 및 오디오 마스킹 노이즈 제거의 한 가지 문제점은 디코더 측의 정보 누출입니다.

여기서의 해결책은 디코더에서 토큰을 마스킹하는 것입니다(이 토큰을 예측하지 않는 한). 이는 데이터 유출을 제거하면서 인과 예측을 방해하지 않습니다.

효율성 최적화

대량의 다중 모드 데이터에 대한 교육으로 인해 변환기 입력 및 출력에 대한 시퀀스 길이가 매우 다양해집니다.

여기서는 패킹이 이 문제를 해결하는 데 사용됩니다. 여러 예제에 대한 태그가 순서대로 패킹되고, 변환기가 예제 간에 교차 참여하는 것을 방지하기 위해 주의가 보호됩니다.

훈련 중에 휴리스틱 알고리즘을 사용하여 모델에 스트리밍된 데이터를 재배열하여 긴 샘플이 압축 가능한 짧은 샘플과 일치되도록 합니다. 이 기사의 동적 패키징은 훈련 처리량을 거의 4배 증가시킵니다.

명령 튜닝

다중 모드 명령 튜닝은 모델에 다양한 양식에 대한 다양한 기술과 기능을 제공하고 새롭고 독특한 지침에 적응하는 핵심 프로세스입니다.

연구원들은 다양한 지도 데이터 세트와 작업을 결합하여 다중 모드 명령 튜닝 데이터 세트를 구축합니다.

명령 튜닝 데이터의 분포는 위 그림과 같습니다. 전반적으로 명령 튜닝 믹스는 힌트 데이터 60%, 사전 훈련에서 상속된 데이터 30%(재앙적인 망각 방지), 기존 데이터 소스를 사용하여 구축된 작업 증대 데이터 6%, 자유 형식 텍스트(채팅 가능) 4%로 구성되었습니다. -같은 답변).

위 내용은 GPT-5 미리보기! Allen Institute for Artificial Intelligence, GPT-5의 새로운 기능을 예측하는 가장 강력한 다중 모드 모델 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!