수직형 대형 모델 경쟁이 데이터 '고착점'을 돌파할 수 있을까요?

AI 대형 모델은 전 세계적으로 인기가 높으며 중국 산업도 인공 지능 응용에 대한 새로운 열정을 불러일으켰습니다.

주요 제조업체가 경쟁에 참여하면서 시장은 일반 경로와 수직 경로의 두 가지 주요 경로로 나뉘고 있으며, 매개변수 수준, 적용 시나리오, 비즈니스 모델 등에서 둘 사이의 차이가 점차 나타나고 있습니다.

1. 기업들이 수직형 대형 모델 트랙에 쏟아지고 있습니다

ChatGPT와 같은 일반 AI 대형 모델은 다양한 분야와 시나리오에서 자연어를 처리할 수 있지만 엄청난 컴퓨팅 리소스와 필요한 데이터 양으로 인해 초점이 되었습니다. 국내외 제조업체.

이러한 유형의 기업은 일반적으로 강력한 기술 팀과 재정 지원은 물론 자체 시나리오 및 트래픽 이점도 갖추고 있습니다. Baidu, Alibaba, Tencent, Byte, Huawei 및 기타 회사는 검색, 소셜 네트워킹, 전자 상거래, 사무실 및 기타 분야에서 자체 일반 AI 대형 모델을 채택했습니다.

이에 비해 틈새 분야의 스타트업이나 기업은 이러한 경쟁에서 선점자 우위나 차별화 우위를 확보하기 어렵습니다.

수직형 AI 대형 모델은 특정 분야나 시나리오에만 초점을 맞춰 업계 데이터와 지식을 사용하여 특정 분야나 시나리오에서 사용자의 요구 사항을 더 잘 충족할 수 있는 보다 정확하고 효율적인 솔루션을 제공할 수 있습니다. : 의료, 금융, 교육 등

동시에 일부 오픈 소스 또는 폐쇄 소스 일반 AI 대형 모델을 기반으로 한 다음 지침 조정을 수행하여 자체 목표 필드 또는 시나리오에 적응할 수 있습니다.

따라서 해당 매개변수 규모는 일반 대형 모델보다 한 자릿수 낮습니다. 데이터 플라이휠과 모델 학습을 잘 결합하면 일부 특정 분야에서는 일반 대형 모델보다 성능도 좋고 비용도 저렴할 수 있습니다. .

이러한 맥락에서 수직 대형 모델 트랙에 합류하는 회사가 점점 더 많아지고 있습니다.

5월 18일 Sangfor는 중국 최초의 자체 개발 대형 보안 모델을 출시하여 보안 분야에서 GPT 기술을 최초로 적용했습니다.

5월 5일 Xueersi는 자체 개발한 대형 수학적 모델을 개발 중이라고 발표했습니다. 글로벌 수학 애호가 및 과학 연구 기관을 위한 MathGPT

3월 Daguan Data는 금융, 정부 업무, 제조 등 수직 분야의 대규모 언어 모델에 초점을 맞춘 Caozhi 시스템을 개발 중이라고 발표했습니다.

명확한 상용화 시나리오와 낮은 컴퓨팅 성능 비용으로 인해 다양한 기업이 대규모 수직 모델에 진입할 수 있는 문이 열렸습니다.

2. 세로형 대형 모델의 테스트

세로형 대형 모델의 장점은 충분히 크지 않다는 것입니다. 컴퓨팅 성능이 충분히 크지 않고 알고리즘 난이도도 낮지만 이것이 모든 사람이 할 수 있다는 의미는 아닙니다. 수직형 대형 모델을 만드세요.

우리 모두 알고 있듯이 대규모 AI 모델의 세 가지 요소인 컴퓨팅 성능, 알고리즘, 데이터는 모두 AI에 공급되는 "피드"입니다.

먼저 컴퓨팅 성능에 대해 이야기해 보겠습니다.

대형 모델이 '큰' 이유는 매개변수의 수가 많고 데이터의 양이 많기 때문입니다. 대규모 AI 모델에 필요한 계산량은 대략 매개변수의 양과 데이터의 양을 곱한 것과 같습니다.

지난 5년 동안 대형 AI 모델의 매개변수 수는 거의 매년 수십 배씩 증가했습니다. 예를 들어 GPT-4의 매개변수 수는 GPT-3의 16배로 1조 6천억 개에 이릅니다. .

이미지, 오디오, 비디오 등 다중 모드 데이터가 도입되면서 대형 모델의 데이터 양도 빠르게 확대되고 있습니다. 이는 대규모 모델을 가지고 놀려면 컴퓨팅 능력이 커야 함을 의미합니다.

참고로 Qiyuan World 전략 이사 Wang Sijie처럼 디지털 휴머노이드 기술 시나리오에서 동일한 매개변수 규모를 사용하는 Open AI 모델보다 대규모 수직 모델 세트의 훈련 및 추론 비용이 훨씬 낮을 수 있습니다. 한 번 언급했듯이, 데이터 플라이휠과 모델 훈련이 잘 결합될 수 있도록 먼저 더 작은 수직 모델(예: 수백억 개의 매개변수, 수십억 개의 매개변수)을 구축하세요. 수직 모델은 일부 분야에서 Open AI보다 더 효과적일 수 있습니다. .

수직형 대형 모델의 컴퓨팅 성능 요구 사항이 일반 대형 모델보다 훨씬 낮더라도 컴퓨팅 성능 인프라에 대한 투자로 인해 일부 소규모 기업은 진입하지 못할 것입니다.

알고리즘에 대해 이야기해 봅시다.

세 가지 요소 중 알고리즘 개발의 난이도는 상대적으로 낮습니다. 각 회사마다 대형 모델을 구현하기 위한 자체 경로 알고리즘이 있으며, 참고로 사용할 수 있는 오픈 소스 프로젝트가 많으며 중국 회사가 가장 단축되거나 쉽습니다. 심지어 간격을 좁힙니다.

마지막으로 데이터에 대해 이야기해보겠습니다.

AI 훈련과 튜닝을 지원하려면 고품질 데이터가 핵심입니다. 충분하고 풍부한 데이터는 대규모 AI 모델의 기초입니다.

OpenAI는 이전에 AI가 인간처럼 원활하게 대화할 수 있도록 개발자가 GPT-3.5에 최대 45TB의 텍스트 코퍼스를 제공했다고 밝혔습니다. 이는 중국의 '4대 고전' 472만 세트에 해당합니다. 이러한 코퍼스 소스는 Wikipedia, 온라인 기사, 서적 및 저널 등을 포함한 광범위한 소스에서 제공되며 오픈 소스 코드 플랫폼 Github도 포함되어 있습니다.

그러나 세분화된 산업에 초점을 맞추면 데이터를 얻는 것이 그리 쉽지 않습니다.

산업증권은 전문적인 대규모 산업 모델을 양성하기 위해서는 고품질의 산업 데이터와 공공 데이터가 중요하다고 공개적으로 밝혔습니다.

국내 데이터 시장의 경우 국가발전개혁위원회의 공식 발표에 따르면 우리나라 정부 데이터 자원이 전체 데이터 자원의 3/4 이상을 차지하지만 개방 규모는 1/4에 미치지 못합니다. 미국의 10% 수준이고, 개인이나 기업이 사용할 수 있는 규모는 미국의 7%에도 미치지 못한다.

그리고 산업 데이터는 매우 핵심적인 프라이빗 도메인 데이터입니다. 프라이빗 도메인 데이터의 양이 많고 품질이 높을수록 그 가치는 더욱 커집니다.

의료기업이 풍부한 의료데이터와 사례데이터를 보유하고 있다면 의료산업과 유사한 대규모 수직모델 제품을 개발할 수 있는 능력을 갖췄습니다. 건설업계의 프로젝트 데이터, 금융업계의 사용자 프로필 데이터, 해운업계의 선박 위치 데이터는 모두 대규모 수직 모델을 지원하는 핵심 데이터 소스입니다.

그러나 이러한 개인 도메인 데이터는 모두 기업 자체의 손에 있으며, 데이터 보안 및 규정 준수를 위해 대부분의 기관에서는 대규모 모델 교육을 시도하기 전에 로컬 배포를 요구합니다. 기업이 핵심 데이터를 다른 사람에게 제공할 것이라고는 상상하기 어렵습니다. 그리고 기차.

또한 데이터에 적절한 레이블을 지정하고 주석을 추가하는 것도 매우 중요합니다. 원래 단어를 다음과 같이 다시 작성합니다. 다양한 수준에서 데이터를 분류하면 제품 효율성이 향상될 수 있고, 매우 정확하게 레이블이 지정된 데이터는 대형 모델의 전문적인 성능을 더욱 향상시킬 수 있습니다.

그러나 현 단계에서는 수직 산업이 고정밀 주석 데이터를 얻기 위한 비용이 상대적으로 높고, 공공 데이터베이스에 업계 전문 데이터가 적기 때문에 대규모 수직 모델 구축에 대한 높은 요구 사항이 제시됩니다.

일반적으로 대규모 수직 모델을 구축하려면 컴퓨팅 성능과 알고리즘보다 데이터의 중요성이 훨씬 뛰어납니다.

데이터는 기업이 대규모 수직 모델을 돌파하는 데 "걸림돌"이 되었습니다.

3. 산업 데이터로 한발 앞서가세요

수직형 대형 모델은 적용과 시나리오 우선 논리를 강조하며, 중국에서는 산업 측면의 가치를 강조합니다.

현재 중국의 지능화 물결 속에서 산업 측면에서는 디지털 혁신에 대한 광범위한 시장 수요가 있는 반면, toB 생태계에서는 수직적 애플리케이션 기반 관행도 산업 발전에 도움이 됩니다. 데이터 플라이휠과 씬 플라이휠의 형성.

이 모든 것의 전제는 대형 수직 모델을 출시하는 회사가 업계에 기술적 장벽과 해자를 구축했다는 것, 즉 "내가 가진 것을 누구도 가지고 있지 않다"는 경쟁 우위를 가지고 있다는 것입니다.

다년간 버티컬 산업에 깊이 관여한 기업이 승리할 확률이 더 높을 것 같습니다.

이 회사들은 데이터 처리, 대규모 모델 및 지식 그래프 분야에서 풍부한 경험을 보유하고 있으며 대규모 모델 최적화에 더 큰 이점을 가지고 있습니다. 동시에 그들은 B 고객의 요구 사항과 구현 시나리오에 대한 깊은 이해를 갖고 있어 수직형 대형 모델 제품의 신뢰성과 신뢰성을 더 잘 보장하고 보안, 제어 가능성 및 규정 준수에 대한 기업 수준의 요구 사항을 충족할 수 있습니다.

현재 일부 대규모 수직 모델이 금융, 교육, 의학, 마케팅 및 기타 시나리오에서 테스트되었습니다.

예를 들어 Bloomberg는 자체 개발한 풍부한 금융 데이터 소스를 사용하고 오픈 소스 GPT-3 프레임워크를 기반으로 재교육하여 금융 관련 대형 모델 BloombergGPT를 개발합니다.

NetEase Youdao는 교육 시나리오를 위해 자체 개발한 ChatGPT와 유사한 모델을 출시했습니다. ." Zi가 말했습니다.”;

ChatGPT가 출시된 지 불과 몇 주 만에 Google은 의료 관련 질문에 답하기 위해 특별히 설계된 대규모 의료 언어 모델인 Med-PaLM을 발표했습니다...

더 많은 회사가 합류하면서 Large 수직 분야의 규모 모델은 다양한 산업 및 하위 분야에서 널리 나타날 것입니다. 그리고 수직적 분야를 전문화하고 이해하고, 고품질 데이터를 사용하여 지속적으로 모델을 최적화하고, 비즈니스 폐쇄 루프를 실행하고, 산업 생태계를 구축할 수 있는 기업은 결국 가치 사슬을 충분히 길게 만들 것입니다.

위 내용은 수직형 대형 모델 경쟁이 데이터 '고착점'을 돌파할 수 있을까요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!