전국인민대표대회의 다중 모드 모델은 AGI로 이동합니다. 최초로 독립적인 업데이트를 실현하고 사진 비디오 생성이 Sora를 능가합니다.

4월 27일 개최된 중관춘 포럼 인공지능병행포럼에서 전국인민대표대회 산하 스타트업 기업 Sophon Engine이 신형 멀티모달 대형 모델 Awaker 1.0을 대대적으로 출시하며 AGI를 향한 중요한 발걸음을 내디뎠습니다. .

Sophon Engine의 이전 세대 ChatImg 시퀀스 모델과 비교하여 Awaker 1.0은 새로운 MOE 아키텍처를 채택하고 "진짜" 독립적인 업데이트를 달성한 업계 최초의 다중 모드 대형 모델입니다.

비주얼 생성 측면에서 Awaker 1.0은 완전히 자체 개발한 비디오 생성 기반 VDT를 사용하여 사진 비디오 생성에서 Sora보다 더 나은 결과를 달성하여 대형 모델 착륙의 "라스트 마일"난이도를 깨뜨렸습니다.

Awaker 1.0은 시각적 이해와 시각적 생성을 통합한 다중 모드 대형 모델입니다. 이해 측면에서 Awaker 1.0은 디지털 세계 및 현실 세계와 상호 작용하고 작업 실행 중에 장면 동작 데이터를 모델에 다시 공급하여 생성 측면에서 지속적인 업데이트 및 교육을 달성합니다. 모달 이미지 콘텐츠를 제공하고, 실제 세계를 시뮬레이션하며, 측면 모델 이해를 위한 더 많은 교육 데이터를 제공합니다.

특히 중요한 점은 Awaker 1.0은 "실제" 자율 업데이트 기능으로 인해 광범위한 산업 시나리오에 적합하며 AI 에이전트, 구현 지능, 종합 관리, 보안검사 등

Awaker의 MOE 기본 모델

이해 측면에서 Awaker 1.0의 기본 모델은 주로 다중 모드 다중 작업 사전 훈련에서 심각한 충돌 문제를 해결합니다. 신중하게 설계된 다중 작업 MOE 아키텍처의 이점을 활용하여 Awaker 1.0의 기본 모델은 Sophon Engine의 이전 세대 다중 모드 대형 모델 ChatImg의 기본 기능을 상속받을 뿐만 아니라 각 다중 모드 작업에 필요한 고유한 기능도 학습할 수 있습니다. . 이전 세대 다중 모드 대형 모델 ChatImg와 비교하여 Awaker 1.0의 기본 모델 기능은 여러 작업에서 크게 향상되었습니다.

주류 멀티모달 평가 목록의 평가 데이터 유출 문제를 고려하여 엄격한 기준을 채택하여 자체 평가 세트를 구축했으며, 테스트 사진의 대부분은 개인 휴대폰 앨범에서 가져왔습니다. 본 멀티모달 평가 세트에서는 Awaker 1.0과 국내외 최첨단 멀티모달 대형 모델 3종에 대해 공정한 수동 평가를 실시합니다. 자세한 평가 결과는 아래 표와 같습니다. GPT-4V와 Intern-VL은 감지 작업을 직접 지원하지 않습니다. 감지 결과는 모델이 객체 방향을 설명하기 위해 언어를 사용하도록 요구하여 얻어집니다.

Awaker 1.0의 기본 모델은 시각적 질문 답변 및 비즈니스 응용 작업에서 GPT-4V, Qwen-VL-Max 및 Intern-VL을 능가하는 동시에 차선책 결과를 얻었습니다. 전체적으로 Awaker 1.0의 평균점수는 국내외 가장 앞선 3개 모델을 능가하며 멀티 태스킹 MOE 아키텍처의 효율성을 검증했습니다. 다음은 비교 분석의 몇 가지 구체적인 예입니다.

이러한 비교 예에서 볼 수 있듯이 Awaker 1.0은 계산 및 OCR 질문에 정답을 제공할 수 있는 반면, 다른 세 모델은 모두 오답(또는 부분 오답)을 제공합니다. 세부 설명 작업에서 Qwen-VL-Max는 환각에 더 취약하며 Intern-VL은 그림의 내용을 정확하게 설명할 수 있지만 일부 세부 사항에서는 정확하고 구체적이지 않습니다. GPT-4V와 Awaker 1.0은 이미지의 내용을 자세하게 기술할 수 있을 뿐만 아니라, 사진에 보이는 코카콜라처럼 이미지의 세부사항까지 정확하게 식별할 수 있습니다.

Awaker + Embodied Intelligence: Towards AGI

다중 모드 대형 모델의 시각적 이해 기능으로 인해 다중 모드 대형 모델과 구체화 지능의 결합은 매우 자연스럽습니다. 자연스럽고 지능이 구현된 카메라. 인공지능 분야에서는 '멀티모달 대형모델+실체지능'이 일반 인공지능(AGI)을 달성하기 위한 가능한 경로로 꼽히기도 한다.

사람들은 구현된 지능이 적응할 수 있기를 기대합니다. 즉, 에이전트는 지속적인 학습을 통해 변화하는 애플리케이션 환경에 적응할 수 있을 뿐만 아니라 알려진 다중 모드 작업을 더 잘 수행할 수 있을 뿐만 아니라 빠르게 적응할 수도 있습니다. 알려지지 않은 다중 모드 작업.

반면에 사람들은 구체화된 지능이 진정으로 창의적이기를 기대하며, 환경에 대한 자율적 탐색을 통해 새로운 전략과 솔루션을 발견하고 인공지능 능력의 경계를 탐색할 수 있기를 바랍니다. 다중 모드 대형 모델을 구현된 지능의 "두뇌"로 사용함으로써 구현된 지능의 적응성과 창의성을 극적으로 향상시켜 궁극적으로 AGI의 임계값에 접근할 수 있는 잠재력을 갖습니다(또는 AGI 달성까지 가능).

기존 대규모 다중 모드 모델에는 두 가지 명백한 문제가 있습니다. 첫째, 모델의 반복 업데이트 주기가 길고, 많은 인적, 재정적 투자가 필요합니다. 둘째, 모델의 교육 데이터가 필요합니다. 일부 데이터의 경우 모델이 지속적으로 많은 양의 새로운 지식을 획득할 수 없습니다. RAG와 긴 맥락을 통해 지속적인 새로운 지식을 주입할 수도 있지만 다중 모드 대형 모델 자체는 이러한 새로운 지식을 학습하지 않으며 이 두 가지 수정 방법도 추가적인 문제를 가져올 것입니다.

요컨대, 현재의 대형 멀티모달 모델은 창의적인 것은커녕 실제 적용 시나리오에 적응력도 좋지 않아 업계에서 구현 시 여러 가지 어려움을 겪고 있습니다.

소폰엔진이 이번에 출시한 Awaker 1.0은 자율 업데이트 메커니즘을 탑재한 세계 최초의 멀티모달 대형 모델로, 구현지능의 '브레인'으로 활용할 수 있다. Awaker 1.0의 자율 업데이트 메커니즘에는 활성 데이터 생성, 모델 반영 및 평가, 지속적인 모델 업데이트라는 세 가지 핵심 기술이 포함되어 있습니다.

다른 모든 대형 멀티모달 모델과 달리 Awaker 1.0은 "실시간"이며 매개변수가 실시간으로 지속적으로 업데이트될 수 있습니다.

위의 프레임 다이어그램에서 볼 수 있듯이 Awaker 1.0은 다양한 스마트 기기와 결합하여 스마트 기기를 통해 세상을 관찰하고 행동 의도를 생성하며 스마트 기기를 제어하는 ​​명령을 자동으로 구성하여 다양한 행동을 완료할 수 있습니다. Awaker 1.0은 다양한 동작을 완료한 후 자동으로 다양한 피드백을 생성하고 지속적인 자체 업데이트를 위해 이러한 동작과 피드백으로부터 효과적인 훈련 데이터를 획득하고 모델의 다양한 기능을 지속적으로 강화할 수 있습니다.

새로운 지식의 주입을 예로 들면, Awaker 1.0은 인터넷에서 최신 뉴스 정보를 지속적으로 학습하고 새로 학습된 뉴스 정보를 기반으로 다양하고 복잡한 질문에 답할 수 있습니다. RAG 및 긴 컨텍스트의 전통적인 방법과 달리 Awaker 1.0은 진정으로 새로운 지식을 학습하고 모델의 매개변수를 "기억"할 수 있습니다.

위 예시에서 볼 수 있듯이, Awaker 1.0은 3일 연속 셀프 업데이트를 통해 매일 그 날의 뉴스 정보를 학습하고, 질문에 답변할 때 해당 정보를 정확하게 말할 수 있습니다. 동시에 Awaker 1.0은 지속적인 학습 과정에서 학습된 지식을 잊지 않습니다. 예를 들어 Wisdom S7의 지식은 Awaker 1.0에서 2일 후에도 여전히 기억되거나 이해됩니다.

Awaker 1.0은 다양한 스마트 장치와 결합하여 클라우드 에지 협업을 달성할 수도 있습니다. Awaker 1.0은 다양한 작업을 수행하기 위해 다양한 엣지 스마트 장치를 제어하는 ​​"두뇌"로 클라우드에 배포됩니다. 엣지 스마트 디바이스가 다양한 작업을 수행할 때 얻은 피드백은 지속적으로 Awaker 1.0으로 다시 전송되어 지속적으로 훈련 데이터를 획득하고 지속적으로 자체 업데이트할 수 있습니다.

위에서 언급한 클라우드 에지 협업의 기술 경로는 스마트 그리드 검사 및 스마트 시티와 같은 애플리케이션 시나리오에 적용되어 기존 소형 모델보다 훨씬 더 나은 인식 결과를 달성했으며 업계 고객들로부터 높은 인정을 받았습니다.

실제 시뮬레이터: VDT

Awaker 1.0의 세대 측면은 Sophon Engine이 독자적으로 개발한 Sora와 유사한 비디오 생성 기반 VDT로, 실제 시뮬레이터로 사용할 수 있습니다. 월드 시뮬레이터. VDT의 연구 결과는 OpenAI가 Sora를 출시하기 10개월 전인 2023년 5월에 arXiv 웹사이트에 게재되었습니다. VDT의 학술논문이 세계 최고의 인공지능 학회인 ICLR 2024에 게재되었습니다.

비디오 생성 기반 VDT의 혁신은 주로 다음과 같은 측면을 포함합니다.

• Transformer 기술을 확산 기반 비디오 생성에 적용하는 것은 비디오 생성 분야에서 Transformer의 큰 잠재력을 보여줍니다. VDT의 장점은 시간에 따른 3차원 물체의 물리적 역학 시뮬레이션을 포함하여 시간적으로 일관된 비디오 프레임을 생성할 수 있는 탁월한 시간 종속 캡처 기능입니다.
• VDT가 다양한 비디오 생성 작업을 처리하고 이 기술의 광범위한 적용을 실현할 수 있도록 통합된 시공간 마스크 모델링 메커니즘을 제안합니다. 간단한 토큰 공간 접합과 같은 VDT의 유연한 조건부 정보 처리 방법은 다양한 길이와 양식의 정보를 효과적으로 통합합니다. 동시에 VDT는 시공간 마스크 모델링 메커니즘과 결합하여 무조건 생성, 비디오 후속 프레임 예측, 프레임 보간, 사진 생성 비디오 및 비디오 프레임에 수정 없이 적용할 수 있는 보편적인 비디오 확산 도구가 되었습니다. 모델 구조 완료 및 기타 비디오 생성 작업.

우리는 VDT를 통한 간단한 물리법칙 시뮬레이션을 탐구하고 Physion 데이터 세트에서 VDT를 훈련시키는 데 중점을 두었습니다. 아래 예에서 VDT는 공이 포물선 궤적을 따라 이동하고 공이 평면에서 구르며 다른 물체와 충돌하는 것과 같은 물리적 프로세스를 성공적으로 시뮬레이션한다는 것을 알 수 있습니다. 동시에 2행의 두 번째 예에서도 VDT가 공의 속도와 운동량을 포착하는 것을 볼 수 있는데, 그 이유는 공이 결국 충격력이 부족하여 기둥을 쓰러뜨리지 않았기 때문입니다. 이는 Transformer 아키텍처가 특정 물리적 법칙을 학습할 수 있음을 증명합니다.

사진영상 생성 작업에 대해서도 심층 탐구를 진행했습니다. 우리는 자연적으로 얼굴과 캐릭터의 역동적인 변화에 더 민감하기 때문에 이 작업은 비디오 생성 품질에 대한 요구 사항이 매우 높습니다. 이 작업의 특수성을 고려하여 우리는 VDT(또는 Sora)와 제어 가능한 생성을 결합하여 사진 비디오 생성 문제를 해결해야 합니다. 현재 Sophon 엔진은 사진 비디오 생성의 핵심 기술 대부분을 돌파했으며 Sora보다 더 나은 사진 비디오 생성 품질을 달성했습니다. 소폰 엔진은 제어 가능한 인물 사진 생성 알고리즘을 지속적으로 최적화하고 상용화도 적극적으로 모색하고 있습니다. 현재 확정된 상용 착륙 시나리오가 발견됐으며, 조만간 대형 기종 착륙의 난관인 '라스트마일' 난관을 깨뜨릴 것으로 예상된다.

미래에는 더욱 다재다능한 VDT가 다중 모드 대형 모델 데이터 소스의 문제를 해결하는 강력한 도구가 될 것입니다. VDT는 비디오 생성을 사용하여 실제 세계를 시뮬레이션하고 시각적 데이터 생성의 효율성을 더욱 향상시키며 다중 모드 대형 모델 Awaker의 독립적인 업데이트를 지원합니다.

결론

Awaker 1.0은 Sophon 엔진 팀이 "AGI 실현"이라는 궁극적인 목표를 향해 나아가기 위한 핵심 단계입니다. 연구팀은 자기탐색, 자기성찰 등 AI의 자율학습 능력이 지능 수준을 평가하는 중요한 기준이며, 매개변수 크기의 지속적인 증가(스케일링 법칙)만큼 중요하다고 보고 있다. Awaker 1.0은 "활성 데이터 생성, 모델 반영 및 평가, 지속적인 모델 업데이트"와 같은 핵심 기술 프레임워크를 구현하여 이해 측면과 생성 측면 모두에서 획기적인 성과를 달성하여 다중 모드 대형 개발을 가속화할 것으로 예상됩니다. 산업을 모델화하고 궁극적으로 인간이 AGI를 실현할 수 있도록 돕습니다.

위 내용은 전국인민대표대회의 다중 모드 모델은 AGI로 이동합니다. 최초로 독립적인 업데이트를 실현하고 사진 비디오 생성이 Sora를 능가합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!