Tencent Hunyuan 대형 모델이 공식 공개되었으며, 생산성 향상에 앞장섰습니다.

지난주 1차 국내 대형모델 등록이 승인되고 서비스가 사회 전체에 공개되기 시작하면서 대형모델이 대규모 적용의 새로운 단계에 진입했음을 알렸습니다. 이전에 애플리케이션을 출시한 기업 중 일부 기술 대기업은 아직 조치를 취하지 않은 것 같습니다

2023년 9월 7일 Tencent는 Tencent Global Digital Ecology Conference에서 Hunyuan 대형 모델을 공식 공개하고 Tencent Cloud를 외부 세계에 공개했습니다

1,000억 개가 넘는 매개변수를 갖춘 대규모 모델인 Hunyuan은 사전 훈련 코퍼스에서 2조 개 이상의 토큰을 사용하여 강력한 중국 생성 능력, 복잡한 상황에서의 논리적 추론 능력 및 안정적인 작업 실행을 얻기 위해 여러 고유한 기술 능력을 사용합니다. 능력.

Tencent 그룹 부사장 Jiang Jie는 다음과 같이 말했습니다. "Tencent Hunyuan 대형 모델은 첫 번째 토큰부터 처음부터 훈련됩니다. 우리는 모델 알고리즘부터 기계 학습 프레임워크, AI 인프라에 이르기까지 전체 체인을 마스터했습니다. Road 자체 개발 기술 . "

대형 모델을 열면 모든 것이 생산성입니다

Tencent는 항상 대형 모델과 관련된 방향으로 이미 계획을 세웠으며 특별 연구가 질서있게 진행되고 있다고 항상 밝혔습니다.

이 대형 모델이 '신기술'이 아니라면 수준은 어느 정도인가요? 회의에서 Jiang Jie는 Hunyuan 모델에게 직접 질문하여 몇 가지 기본 정보를 공개했습니다. 그 매개변수의 양은 수천억개에 이르렀고, 훈련에 사용된 데이터는 올해 7월 기준이다. 또한 Tencent는 대형 모델에 대한 지식이 매달 업데이트될 것이라고 밝혔습니다

현장에 표시되는 콘텐츠에는 Tencent Hunyuan 대형 모델 애플릿, Tencent 문서의 AI 보조원, Tencent 컨퍼런스 기능이 포함되어 있습니다 AI비서

이 사이트는 처음입니다. 테스트 자격을 취득한 후, 우선 위챗 애플릿을 사용해보았습니다.

미니 프로그램에 들어갔을 때, 그 안에 들어 있는 콘텐츠가 다른 대형 애플리케이션에 못지않다는 사실에 우리는 기분 좋게 놀랐습니다. 여기에서 우리는 영감을 얻고 Hunyuan이 어떤 기능을 제공할 수 있는지 확인할 수 있습니다

생산성, 생활, 엔터테인먼트부터 프로그래밍 개발에 이르기까지 Hunyuan의 개방형 기능은 천억의 정체성에 걸맞게 매우 포괄적이라고 할 수 있습니다. 수준의 대규모 모델. 그렇다면 Hunyuan이 실제로 이러한 작업을 효과적으로 완료할 수 있을까요?

PPT를 준비해야 하는데 주제는 정했는데 어디서부터 시작해야 할지 모르겠어요. Hunyuan 모델에게 질문을 했더니 AI가 7개 부분의 개요를 제공하는 데 몇 초밖에 걸리지 않았는데, 각 부분에는 고장의 핵심 사항도 포함되어 있습니다

9월에 arXiv에 기사를 입력하세요. Google이 제출한 논문 "RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback"의 요약 및 소개 부분은 여러 개의 긴 단락으로 이루어져 있습니다. 많은 대형 모델은 그렇게 많은 입력 콘텐츠를 전혀 지원하지 않습니다. Hunyuan 대형 모델은 이를 직접 요약하여 번역했습니다. 중국어로요.

아마도 대규모 모델 훈련에서 인공지능이 인간 강화 학습 피드백(RLHF)의 역할을 대체할 수 있다는 의미일 것입니다.

실용 단계에 도달한 대형 모델은 코드 작성에 도움이 될 수 있습니다. 이제 AI에게 코드 조각을 주고 AI가 이해할 수 없고 명확한 설명이 없는 내용을 설명하도록 합니다.

제곱근 역수 알고리즘에서 숫자의 의미를 자세히 설명합니다(그러나 AI는 이해하지 못합니다). 댓글은 철저히). 아마도 머지않아 대형 모델 없이는 개발을 할 수 없게 될 것입니다.

그리고 Tencent 문서가 있습니다. 많은 사람들이 자신의 작업 흐름에서 GPT-4와 같은 대형 모델 도구를 사용해 왔으며, Hunyuan 대형 모델은 Tencent Documents에서 출시한 지능형 보조 기능에 사용되었습니다. PC에서 새로운 스마트 문서를 생성하고 "/"를 입력하면 필요에 따라 콘텐츠 생성, 번역, 다듬기 및 기타 작업을 실현할 수 있습니다.

그런 다음 자연어 명령을 입력하면 대형 모델의 생성 능력이 Tencent 문서의 긴 텍스트를 요약하는 데 도움이 될 수 있습니다.

논문을 작성할 때 매우 유용할 것 같습니다

물론, 주제를 제시하면 텍스트를 생성할 수 있고 생성된 콘텐츠의 일부를 선택하면 AI가 이를 여러 번 다듬고 편집할 수 있습니다. 작성을 마친 후 클릭 한 번으로 번역할 수 있습니다:

또한 테이블 데이터 계산과 차트 생성이 모두 한 문장으로 이루어집니다.

이러한 기능은 현재 내부 테스트 단계에 있으며 완성되면 사용자에게 공개될 예정입니다.

Tencent 회의에서 Hunyuan 대형 모델을 적용하면 회의 중에 더 이상 주의가 산만해지지 않도록 도와줄 수 있습니다. 예를 들어, 방금 무슨 말을 했는지, 두 사람이 어떤 논쟁을 벌였는지 등을 언제든지 AI 비서에게 물어볼 수 있다. AI는 내용을 몇 개의 짧은 문장으로 조용히 요약하고 하나, 둘, 셋을 명확하게 나열할 수 있습니다.

물론 회의 후에 Hunyuan 대형 모델은 회의 내용을 더 빠르고 포괄적으로 요약할 수도 있습니다. -do items

는 Tencent의 50개 이상의 비즈니스를 다루었습니다

Jiang Jie는 Hunyuan 모델의 세 가지 주요 특징인 강력한 중국어 창작 능력, 복잡한 상황에서의 논리적 추론 능력, 신뢰성 있는 작업 실행 능력을 요약했습니다.

현재 업계의 많은 대형 모델은 여전히 ​​장면에서의 적용이 제한되어 있습니다. 가장 큰 문제는 내결함성 비율이 높고 간단한 작업을 수행하는 캐주얼 장면에만 적합하다는 것입니다. Tencent는 모델 신뢰성과 성숙도를 높이기 위해 알고리즘 수준에서 일련의 자체 연구 혁신을 수행했습니다.

Tencent 그룹 부사장 Jiang Jie가 행사에 등장했습니다

대형 모델이 "횡설수설"하기 쉽다는 문제를 고려하여 Tencent는 자체 학습을 통해 사전 훈련 알고리즘과 전략을 최적화했습니다. "진실 탐지" 기술을 개발하여 Hunyuan 대형 모델의 "환상"이 주류 오픈 소스 대형 모델에 비해 30-50% 감소했습니다.

"업계에서는 대형 모델 오픈북 시험의 능력을 향상시키기 위해 검색 강화, 지식 그래프 및 기타 "플러그인"을 제공하는 접근 방식을 취하고 있습니다. 이 방법은 모델에 대한 지식을 늘리지만 실제 적용에는 많은 한계가 있습니다. "라고 장지에는 말했다. "Hunyuan 대형 모델 개발 초기 단계에서 우리는 외부 데이터에 전혀 의존하지 않는 방법을 고려하고 많은 연구 시도를 수행했습니다. 우리가 찾아낸 사전 훈련 방법은 환각 문제를 대부분 해결했습니다. "

Tencent도 강화 학습을 사용합니다. 이 방법을 사용하면 모델이 트랩 문제를 식별하는 방법을 학습할 수 있으며, 위치 인코딩 최적화를 통해 매우 긴 텍스트를 처리하는 모델의 효과와 성능이 향상됩니다. 논리 측면에서 Tencent는 대규모 모델이 인간처럼 실제 적용 시나리오를 기반으로 추론하고 결정을 내릴 수 있도록 하는 새로운 사고 체인 전략을 제안했습니다.

Tencent의 Hunyuan 대형 모델은 오랫동안 맥락의 의미를 이해할 수 있습니다. 텍스트 메모리 기능이 있으며 전문 분야에서 여러 차례의 대화를 유창하게 할 수 있습니다. 또한 문학 창작, 텍스트 요약, 역할극 등의 콘텐츠를 제작하여 사용자 의도를 완전히 이해하고 적시에 효율적이고 정확하게 응답할 수 있습니다. 이러한 기술이 구현되어야만 생산성이 진정으로 향상될 수 있습니다.

다시 작성해야 할 내용은 다음과 같습니다. 4000 단어의 기사 작성 GPT-4는 요구 사항을 충족할 수 없지만 Hunyuan 대형 모델은 충족할 수 있습니다

"대규모 사전 훈련"에서 중국 정보 통신 기술 아카데미의 모델 기술 ""응용 및 응용 평가 방법"표준 준수 테스트에서 Hunyuan 대형 모델은 총 66 가지 능력 항목을 평가했으며 2 가지 종합 평가에서 최고 점수를 획득했습니다. "모델 개발" 및 "모델 역량" 분야. 주류 평가 세트인 MMLU, CEval 및 AGI-eval에서 Hunyuan 대형 모델은 특히 중국 과학, 대학 입학 시험 문제 및 수학 분야에서 탁월한 성능을 보였습니다.

대형 모델 제작의 중요성은 산업 적용에 있습니다. Tencent Cloud, Tencent Advertising, Tencent Games, Tencent Financial Technology, Tencent Conference, Tencent Documents, WeChat Souyisou, QQ 브라우저 등을 포함하여 Tencent 내의 50개 이상의 기업과 제품이 Tencent Hunyuan 모델에 액세스하고 테스트한 것으로 알려져 있습니다. 그리고 초기 결과를 얻었습니다. Tencent 프로그래머는 개발 효율성을 높이기 위해 대형 모델 도구를 사용하기 시작했습니다

또한 Tencent는 자체 기계 학습 프레임워크인 Angel을 개발하여 모델의 훈련 속도를 두 배로 높이고 업계의 주류 프레임워크에 비해 추론 속도를 높였습니다. 1.3배.

대형 모델을 제작하기 위한 인프라도 철거되지 않았습니다. Tencent는 올해 초 대규모 컴퓨팅 센터를 구축했다고 밝힌 바 있습니다. 최근 MiniMax와 Baichuan Intelligence의 대형 모델에는 Tencent의 컴퓨팅 성능이 사용되었습니다.

Tencent는 또한 산업 데이터를 자체 역량과 결합하고, 외부 고객의 산업별 데이터를 사용하여 특정 산업의 문제를 해결하고, 실제 산업과 통합하여 대규모 기업의 사회적, 경제적 이익과 비즈니스 가치를 지속적으로 홍보하기 위해 열심히 노력하고 있습니다. -스케일 모델

"공개 데이터에 따르면 중국에서는 130개의 대형 모델이 출시되었습니다. 일반 모델과 전문 현장 모델이 있습니다. 일반 모델로서 Hunyuan은 Tencent 내부 비즈니스의 대부분을 지원할 수 있습니다. 오늘은 깊이 연결된 여러 모델을 보여 드리겠습니다. 비즈니스 Jiang Jie는 "사용자 수가 많고 대형 모델이 핵심 영역에 깊이 적용되었습니다"라고 말했습니다. "저의 빅 모델은 먼저 기업 자체에 서비스를 제공하고, 두 번째로 Tencent Cloud를 통해 외부 세계에 공개됩니다." Hunyuan Big Model이 고객에게 공개되면 서비스 MaaS로서의 Tencent Cloud 모델의 기반이 될 것입니다. 고객은 Hunyuan API를 직접 호출하거나 Hunyuan을 기본 모델로 사용하여 다양한 산업 시나리오를 위한 전용 애플리케이션을 구축할 수 있습니다.

대형 모델 분야에서 텐센트의 전략은 안정성에 초점을 맞추고 있음을 알 수 있습니다. 즉, 견고한 기반 마련에 중점을 두고 반제품을 선보이기 위해 서두르지 않는 것입니다. 그리고 이 움직임은 뛰어난 위력을 보여주었다.

대형 모델의 개발은 여전히 ​​진행 중입니다. Jiang Jie가 말했듯이 "Tencent가 대형 모델을 완전히 수용했다고 해도 과언이 아닙니다. 우리의 역량은 끊임없이 발전해 왔으며 AIGC의 잠재력은 다음과 같습니다. 우리는 이미 이 길에 있습니다.”

위 내용은 Tencent Hunyuan 대형 모델이 공식 공개되었으며, 생산성 향상에 앞장섰습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!