텐센트가 자체 개발한 훈위안(Hunyuan) 대형 모델이 공식 공개돼 텐센트 클라우드를 통해 외부 세계에 공개됐다.

국내 대형 모델은 매개변수 우선에서 실용 우선으로 전환하며 장기 운행 기간에 돌입했습니다.

9월 7일 2023 Tencent Global Digital Ecology Conference에서 Tencent의 Hunyuan 대형 모델이 공식 공개되었으며 Tencent Cloud를 통해 외부 세계에 공개될 것이라고 발표했습니다.

Tencent Hunyuan Large Model은 Tencent Full Link가 자체 개발한 범용 대형 언어 모델로, 1000억 개가 넘는 매개변수 규모와 2조 개가 넘는 토큰의 사전 학습 코퍼스를 보유하고 있습니다. 복잡한 언어 환경에서의 논리적 추론 능력과 안정적인 업무 수행 능력을 갖추고 있습니다.

Tencent Hunyuan 대형 모델은 "실습에서 나오고 실습으로 이동"하는 실용적인 수준의 대형 모델이라는 점에 주목할 가치가 있습니다. Tencent Cloud, Tencent Advertising, Tencent Games, Tencent Financial Technology, Tencent Conference, Tencent Documents, WeChat Souyisou, QQ Browser를 포함한 50개 이상의 Tencent 기업과 제품이 Tencent Hunyuan 대형 모델에 연결되어 테스트되었으며 초기 목표를 달성했습니다. 결과. .

Hunyuan 대형 모델은 Tencent Cloud MaaS 서비스의 기반 역할을 할 것으로 이해됩니다. 고객은 API를 통해 Hunyuan을 직접 호출할 수 있을 뿐만 아니라 Hunyuan을 기본 모델로 사용하여 다양한 산업 시나리오에 대한 전용 애플리케이션을 구축할 수도 있습니다. .

Tang Daosheng, Tencent 그룹 수석 부사장 겸 클라우드 및 스마트 산업 그룹 CEO는 다음과 같이 말했습니다. "대형 모델 생성 기술을 핵심으로 인공 지능이 다음 단계의 핵심 원동력이 되고 있습니다. 디지털 개발은 산업 문제에 대한 솔루션도 제공합니다. 대형 모델은 산업 시나리오를 기반으로 하고 기업 데이터와 통합되어 최고의 가치를 창출해야 합니다. "자체 개발한 풀 링크 기술. Tencent Group 부사장 Jiang Jie에 따르면 Tencent Hunyuan Large Model은 첫 번째 토큰부터 처음부터 훈련을 받았으며 모델 알고리즘부터 기계 학습 프레임워크, AI 인프라에 이르기까지 전체 링크 자체 개발 기술을 마스터했습니다.

Tencent 그룹 부사장 Jiang Jie

2021년부터 Tencent는 수천억, 수조 개의 매개변수를 갖춘 NLP 희소 대형 모델을 연속으로 출시했습니다

. 이는 3대 CLUE 목록 기록과 중국어 이해 능력의 새로운 돌파구를 달성합니다.

현재 업계에서 대형 모델의 적용은 여전히 ​​장면에 제한되어 있으며 주로 내결함성이 높고 간단한 작업이 있는 레저 장면에 중점을 둡니다. Tencent는 모델 신뢰성과 성숙도를 높이기 위해 알고리즘 수준에서 일련의 자체 연구 혁신을 수행했습니다.

대형 모델이 "횡설수설"하기 쉽다는 문제에 대응하여 Tencent는 사전 훈련 알고리즘과 전략을 최적화하여 주류 오픈 소스에 비해 Hunyuan 대형 모델의 환상을 30%~50% 줄였습니다. 대형 모델 강화를 통해 모델은 위치 코딩 최적화를 통해 트랩 문제를 식별하는 방법을 학습할 수 있으며, 매우 긴 문서의 처리 효과와 성능이 향상되어 대형 모델이 추론하고 분석할 수 있게 됩니다. 인간과 같은 실제 애플리케이션 시나리오를 기반으로 결정을 내립니다.

또한 Tencent는 자체 기계 학습 프레임워크인 Angel을 개발하여 업계의 주류 프레임워크에 비해 훈련 속도를 1배, 추론 속도를 1.3배 높였습니다.

Tencent Hunyuan 대형 모델 풀 링크 자체 연구

풀 링크 자체 연구 기술 덕분에 Tencent Hunyuan 대형 모델은 컨텍스트의 의미를 이해할 수 있으며 긴 텍스트 기억 능력을 가지고 있습니다. 전문 분야에서 여러 차례의 대화를 원활하게 진행할 수 있습니다. 또한 문학 창작, 텍스트 요약, 역할극 등의 콘텐츠를 제작하여 사용자 의도를 완전히 이해하고 적시에 효율적이고 정확하게 응답할 수 있습니다.

중국 정보 통신 기술 아카데미의 "대규모 사전 훈련 모델 기술 및 응용에 대한 평가 방법"의 표준 준수 테스트에서 Hunyuan 대형 모델은 "에서 총 66개의 능력 항목을 평가했습니다. 모델 개발'과 '모델 역량' 두 가지 중요한 영역에 대한 종합 평가에서 현재 최고 점수를 획득했습니다. 주류 평가 세트인 MMLU, CEval 및 AGI-eval에서 Hunyuan 대형 모델은 특히 중국 과학, 대학 입학 시험 문제, 수학 및 기타 하위 항목에서 탁월한 성능을 보였습니다.

상해재경대학교 Liu Yuanchun 총장은 다음과 같이 믿습니다. “전면적인 자체 연구를 통해 중국은 대형 모델과 관련된 인재와 기술을 지속적으로 축적하고 점차 체계적인 산업 체인, 인재 체인을 형성할 것입니다. , 기술 체인 및 혁신 체인, 그리고 마침내 일반 인공 지능 개발을 위한 중국의 길을 만드는 것은 우리가 디지털 기술 혁신의 돌파구를 달성하는 데 도움이 될 것입니다."

Tencent는 대형 모델을 완전히 수용합니다

Jiang Jie "우리는 대형 모델을 개발합니다. 목표는 평가에서 높은 점수를 얻는 것이 아니라 실제 시나리오에 기술을 적용하는 것입니다. "

이 컨퍼런스에서 Jiang Jie는 Tencent 컨퍼런스와 Tencent 문서를 보여주었습니다. , Tencent Advertising 및 기타 비즈니스, Tencent Hunyuan 대형 모델에 액세스한 후의 실제 적용 상황.

예를 들어 Tencent Conference는 Hunyuan 대형 모델을 기반으로 AI 도우미를 만들었습니다. 간단한 자연어 지침만 있으면 회의 정보 추출, 콘텐츠 분석 등 복잡한 작업을 완료할 수 있으며 지능적인 요약 회의록도 생성할 수 있습니다. 회의 후. 실제 측정에 따르면 Hunyuan 대형 모델은 지침 이해, 회의 중 Q&A, 회의 요약, 회의 할 일 항목 등 여러 측면에서 높은 사용자 채택률을 달성했습니다.

Tencent Conferences에서 Tencent Hunyuan Large Model 적용

문서 처리 측면에서 Tencent Hunyuan Large Model은 수십 가지 텍스트 생성 시나리오를 지원하며 Tencent Documents에서 출시된 지능형 보조 기능은 에 적용했습니다. 동시에 Hunyuan은 한 번의 클릭으로 표준 형식의 텍스트를 생성할 수 있고 수백 개의 Excel 수식에 능숙하며 자연어 생성 기능을 지원하고 테이블 내용을 기반으로 차트를 생성합니다. 이러한 기능은 현재 내부 테스트 단계에 있으며 향후 출시될 예정입니다. 성숙해지면 사용자에게 공개됩니다.

광고 비즈니스 시나리오에서 Tencent Hunyuan 대형 모델은 산업 및 지역 특성에 적응하고 수천 명의 요구를 충족하며 텍스트, 그림의 자연스러운 통합을 달성할 수 있는 지능형 광고 자료 생성을 지원합니다. , 및 비디오. 또한 Hunyuan 대형 모델의 기능을 기반으로 광고 지능형 쇼핑 가이드는 기업 WeChat과 같은 시나리오에서 판매자가 서비스 품질과 효율성을 향상시키는 데 도움이 될 수 있습니다.

Tencent 광고에 Tencent Hunyuan 대형 모델 적용

올해 6월 Tencent Cloud는 서비스형 모델(MaaS) 솔루션을 출시하여 모델 사전 지원을 제공하는 것으로 파악됩니다. 교육, 모델 미세 조정 및 지능형 애플리케이션 개발과 같은 원스톱 업계 대형 모델 서비스를 제공합니다.

최근 Tencent Cloud는 Llama 2 및 Bloom과 같은 20개 이상의 주류 모델에도 완전히 통합되었으며 Hunyuan과 마찬가지로 모두 직접 배포 호출을 지원합니다. 고객은 Hunyuan을 기반으로 자신만의 독점 산업 모델을 만들거나 실제 요구 사항에 따라 오픈 소스 모델을 만들 수 있습니다.

위 내용은 텐센트가 자체 개발한 훈위안(Hunyuan) 대형 모델이 공식 공개돼 텐센트 클라우드를 통해 외부 세계에 공개됐다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!