Baidu 공식 발표: Wen Xin Yi Yan이 곧 출시될 예정이며 ChatGPT보다 강력할 수 있습니다!

저자 | Xu Jiechen

2월 7일, Baidu의 공식 공개 계정은 "공식 발표: Wen Xin의 한마디"라는 매우 간단한 발표를 발표했습니다. Wen Xinyiyan은 Baidu 내부에서 개발한 ChatGPT와 유사한 챗봇으로, 영어 이름은 ERNIE Bot인 것으로 알려져 있습니다.

Baidu 내부자에 따르면: Wenxinyiyan은 Baidu가 제안한 지식 강화 대형 모델(Ernie)을 기반으로 확장된 일련의 고급 대형 모델로 구성되어 있으며 다음을 포함하여 광범위한 작업을 수행할 수 있습니다. 언어 이해, 언어 생성(ERNIE 3.0 Titan), 텍스트로부터 이미지 생성(ERNIE-ViLG) 등 다른 언어 모델과 비교하여 Wenxinyiyan은 광범위한 지식과 대규모 데이터를 결합하여 탁월한 이해 및 생성 기능을 생성할 수 있습니다. 회사는 3월에 Wen Xinyiyan에 대한 내부 테스트를 완료한 후 공식적으로 대중에게 공개할 계획입니다.

Wen Xinyiyan의 실제 성능은 아직 알 수 없지만, 이전에 Baidu에서 발표한 "ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation"이라는 제목의 논문을 통해 현재 우리는 적용되는 언어 모델 ERNIE 3.0 Titan에 대한 일부 관련 정보를 대략적으로 이해합니다.

문서에 따르면: ERNIE 3.0 Titan은 Baidu가 PaddlePaddle 플랫폼에서 훈련한 1,000억 개의 매개변수 모델로, 여기에는 최대 2,600억 개의 매개변수가 포함되어 있습니다(ChatGPT는 1,750억 개의 매개변수가 있는 GPT3.5 모델을 사용합니다). 또한 Baidu는 ERNIE 3.0 Titan이 신뢰할 수 있고 제어 가능한 텍스트를 생성할 수 있도록 자체 감독된 적대적 손실과 제어 가능한 언어 모델링 손실도 설계했습니다.

컴퓨팅 오버헤드와 탄소 배출을 줄이기 위해 Baidu는 ERNIE 3.0 Titan용 온라인 증류 프레임워크도 제안했습니다. 이 프레임워크에서는 교사 모델이 학생을 가르치고 스스로 훈련하는 것입니다. ERNIE 3.0Titan은 현재까지 중국 최대 규모의 집중 사전 훈련 모델입니다. 관련 실험 결과에 따르면 68개의 NLP 데이터 세트에서 ERNIE 3.0 Titan의 성능은 ChatGPT가 적용한 GPT3.5 모델을 포함하여 현 단계의 가장 진보된 언어 모델보다 우수합니다.

ERNIE 3.0 타이탄 모델 아키텍처 다이어그램

Wen Xinyiyan이 온라인에 진출하기 전에 최종 스프린트 단계에 진입했으며 관련 뉴스의 노출로 인해 Baidu의 홍콩 주가도 이상 급등한 것으로 알려졌습니다. 17%, 시장 가치는 약 HK$700억 증가했습니다. 일부 업계 관계자의 추측에 따르면 Baidu Wenxin Yiyan 프로젝트는 빠르면 2022년 9월에 연구 개발을 시작했을 수 있습니다. 당시 Baidu CEO Robin Li는 세계 인공 지능 컨퍼런스에서 다음과 같이 말했습니다. 기술 수준이나 상업적 응용 수준에 관계없이 , 인공지능 엄청난 발전이 있었고 일부는 방향을 바꾸기도 했습니다.

ChatGPT가 가져온 생성 AI의 현재 인기를 고려하면 Baidu는 앞으로 이 분야 시장을 탐내는 국내 기업 그 이상일 것입니다. 시장 관점에서 ChatGPT와 같은 챗봇의 가장 확실한 가치와 구현 시나리오는 Baidu의 주요 검색 사업입니다. 이러한 관점에서 볼 때, 이 분야에서 차세대 기술 혁명이 실제로 일어난다면 Baidu가 의심할 여지 없이 선두를 차지할 것입니다. 또한 업계의 많은 사람들은 Google과 Microsoft의 발전 속도를 고려할 때 Wen Xinyiyan의 공개 내부 테스트 진행이 계속 발전할 수 있다고 믿고 있습니다.

위 내용은 Baidu 공식 발표: Wen Xin Yi Yan이 곧 출시될 예정이며 ChatGPT보다 강력할 수 있습니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!