Baidu CTO Wang Haifeng: 대규모 언어 모델이 일반 인공 지능의 시작을 가져옴

2023년 8월 16일(베이징 시간) WAVE SUMMIT 딥 러닝 개발자 컨퍼런스가 국립 딥 러닝 기술 및 응용 엔지니어링 연구 센터에서 주최되었습니다. 이 회의에는 Baidu 최고 기술 책임자이자 딥 러닝 국립 엔지니어링 연구 센터 소장이 참석했습니다. 학습 기술 및 응용 프로그램 Wang Haifeng이 기조 연설을 했습니다. 왕하이펑(Wang Haifeng)은 대규모 언어 모델이 이미 이해, 생성, 논리, 기억 등 인공지능의 핵심 기본 기능을 보유하고 있음을 처음으로 공개적으로 밝히며 일반 인공지능 발전에 새로운 희망을 가져왔습니다

8백만 명의 개발자가 Flying Paddle을 사용하여 800,000개 이상의 모델을 만들었습니다

WAVE SUMMIT 딥러닝 개발자 컨퍼런스가 2019년 4월부터 개최되었습니다. 첫 번째 컨퍼런스에서 왕하이펑(Wang Haifeng)은 딥러닝이 폭넓은 적용 가능성을 갖고 있으며 산업 생산의 표준화, 자동화, 모듈화 특성을 갖고 있어 인공지능이 산업화 단계로 진입하도록 촉진했다고 지적했습니다. 4년간의 개발 끝에 딥러닝 기술과 응용의 발전을 통해 이러한 관점이 완전히 검증되었습니다. 딥러닝 기술의 적용 범위는 점점 더 넓어지고 있으며, 딥러닝 플랫폼의 표준화, 자동화, 모듈화 기능은 점점 더 분명해지고 있으며, 사전 학습된 대형 모델의 등장으로 인공 지능의 깊이와 폭이 더욱 확대되었습니다. 지능 애플리케이션. 이로써 인공지능은 산업생산 단계에 들어섰습니다

표준화 측면에서는 다양한 하드웨어에 균일하게 적응하고 애플리케이션 모델을 단순화하기 위해 프레임워크와 모델을 공동으로 최적화하여 자동화 측면에서 인공 지능 애플리케이션의 문턱을 크게 낮추고 전체 프로세스의 효율성을 향상했습니다. 인공 지능 연구 및 개발의 훈련부터 추론 배포까지 모두 모듈화 측면에서 자동화되어 다양한 시나리오에서 인공 지능의 신속한 적용을 촉진하는 풍부한 산업 수준의 모델 라이브러리를 제공합니다.

Feipaddle의 산업급 딥 러닝 오픈 소스 오픈 플랫폼과 Wenxin의 대규모 모델은 서로를 촉진하여 Feipaddle 생태계를 더욱 번영시키고 800만 명의 개발자를 유치하고 220,000개의 기업 및 기관에 서비스를 제공하며 Feipaddle 모델을 기반으로 800,000개의 프로젝트를 생성합니다. 왕하이펑(Wang Haifeng)은 플라잉 패들(Flying Paddle) 개발자 커뮤니티 AI 스튜디오 '갤럭시 커뮤니티(Galaxy Community)'의 중국 이름에 담긴 심오한 의미에 대해 "웬신(Wenxin)과 플라잉 패들(Flying Paddle)이 결합해 함께 은하계에 들어간다"고 설명했다. Fei Piao와 Wen Xin의 지도 하에 우리는 모든 개발자와 협력하여 Galaxy 커뮤니티를 구축하고 일반 인공 지능의 무한한 가능성을 탐구합니다

대규모 언어 모델은 일반 인공 지능에 새로운 희망을 가져옵니다

왕하이펑은 일반 인공지능의 핵심 기본 기능에는 이해, 생성, 논리, 기억이 포함되며, 대규모 언어 모델은 이 네 가지 기능을 갖추고 있어 일반 인공지능의 실현에 희망을 가져온다고 믿습니다

구체적으로, 창조, 프로그래밍, 문제 해결, 계획 등 인공지능의 대표적인 능력은 의존도의 정도는 다르지만 이해, 생성, 논리, 기억 등 핵심 기본 능력을 기반으로 합니다. 예를 들어, 문제 해결 과정에는 질문 읽기부터 문제 해결, 최종 답변 작성에 이르기까지 이해, 기억, 논리 및 생성 능력의 포괄적인 사용이 필요합니다

이러한 능력을 얻으려면 어떻게 해야 하나요? Wen Xinyiyan을 예로 들면, 먼저 수조 개의 데이터와 수천억 개의 지식에 대한 융합 학습을 통해 사전 훈련된 대규모 모델을 훈련합니다. 그런 다음 감독된 미세 조정, 인간 피드백을 통한 강화 학습 및 프롬프트와 같은 기술을 사용하여 더욱 최적화됩니다. 또한 이 모델은 지식 강화, 검색 강화, 대화 강화 등의 기술적 이점도 가지고 있습니다

다양한 전략을 통한 데이터 소스 및 데이터 분포 최적화, 기본 모델의 장문 모델링, 다형 및 다단계 지도 미세 조정, 다중 작업 적응형 지도 미세 조정, 다단계 및 다중 등의 기술 혁신 -세분성 보상 모델. 기본 일반 능력을 종합적으로 향상시킵니다. 검색 강화와 지식 강화를 기반으로 지식 포인트 강화를 통해 세계 지식을 숙달하고 적용하는 능력을 향상시키고, 대규모 논리 데이터 구축, 논리 지식 모델링, 다입상 의미 지식 결합 및 기호 신경망 구축을 통해 논리 능력을 향상시킵니다. 네트워크, 데이터, 콘텐츠, 모델 및 시스템 보안을 포함하는 포괄적인 보안 시스템을 구축하여 대형 모델의 보안을 보장합니다

Fei Paddle의 엔드투엔드 적응형 하이브리드 병렬 훈련 기술과 공동으로 최적화된 압축, 추론 및 서비스 배포를 통해 Wenxin의 대형 모델의 훈련 속도는 3배, 추론 속도는 30배 이상 향상되었습니다.

데이터 기반의 신속한 구축 및 플러그인 개선을 통해 애플리케이션의 장면 적응 및 협업 최적화를 수행했습니다. 우리는 Wen Xin Yi Yan, Baidu Search, Browsing Documents, E Yan Yi Tu, Shuo Tu Jie Hua 및 Yijing Liuying의 5가지 플러그인을 출시했습니다. 이러한 플러그인을 사용하면 모델이 정확한 실시간 정보, 긴 텍스트 요약 및 Q&A, 데이터 통찰력 및 차트 생성, 이미지 기반 생성 및 Q&A, Vincent 비디오를 생성할 수 있습니다. 플러그인 메커니즘의 도입으로 대형 모델의 기능적 경계가 확장되고 다양한 시나리오의 요구 사항을 더 잘 충족할 수 있습니다. Wang Haifeng은 앞으로 Baidu가 개발자와 협력하여 플러그인 생태계를 구축하고 기술 혁신 결과를 공유할 것이라고 말했습니다

대형 언어 모델로 대표되는 인공 지능은 수천 개의 산업에 침투하여 산업 업그레이드와 경제 성장을 가속화하고 있습니다. 이 과정에서 기술 혁신과 응용 프로그램 구현이 선순환을 형성합니다. 이해, 생성, 논리 및 기억과 같은 기능은 지속적으로 향상됩니다. 인공 지능.

위 내용은 Baidu CTO Wang Haifeng: 대규모 언어 모델이 일반 인공 지능의 시작을 가져옴의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!