Jiuzhang Yunji DataCanvas 다중 모드 대형 모델 플랫폼에 대한 실습 및 고찰

1. 멀티모달 대형 모델의 역사적 발전

위 사진은 1956년 미국 다트머스 대학에서 열린 최초의 인공지능 워크숍이다. 이번 컨퍼런스 역시 인공지능의 시초가 될 것이며 참석자들은 주로 기호논리학의 선구자들이다(앞줄 중앙의 신경생물학자 피터 밀너 제외).

그러나 이 기호논리학 이론은 오랫동안 실현되지 못했고, 심지어 1980년대와 1990년대에는 최초의 AI 겨울 시기도 찾아왔습니다. 신경망이 실제로 이러한 논리적 사고를 담고 있다는 사실을 발견한 것은 최근 대규모 언어 모델이 구현된 이후였습니다. 신경생물학자인 Peter Milner의 연구는 이후 인공 신경망 개발에 영감을 주었으며, 이러한 이유로 그가 참여하도록 초대되었습니다. 이번 학술세미나에서.

2012년 테슬라 자율주행 이사 앤드루가 자신의 블로그에 위 사진을 올렸는데, 당시 미국 대통령이었던 오바마가 부하들과 농담을 하는 모습이 담겨 있었습니다. 인공지능이 이 그림을 이해하는 것은 시각적 인식 작업일 뿐만 아니라 물체를 식별하는 것 외에도 물체 간의 관계도 이해해야 하기 때문에 규모의 물리적 원리를 알아야만 설명된 내용을 알 수 있습니다. 사진: 오바마가 밟은 체중계의 남자는 살이 찌면서 이상한 표정을 지었고 다른 사람들은 웃었다. 이러한 논리적 사고는 분명히 순수한 시각적 인식의 범위를 넘어섰습니다. 따라서 "인공 정신 지체"에 대한 당혹감을 없애기 위해서는 시각적 인식과 논리적 사고가 결합되어야 합니다. 다중 모드 대형 모델의 중요성과 어려움도 이를 반영합니다. 여기.

위 그림은 인간 두뇌의 해부학적 구조 다이어그램입니다. 그림의 언어 논리 영역은 큰 언어 모델에 해당하고 다른 영역은 시각, 청각, 촉각 및 기타 감각에 해당합니다. 움직임, 기억 등 비록 인공 신경망이 진정한 의미의 뇌 신경망은 아니지만, 우리는 여전히 그것으로부터 영감을 얻을 수 있습니다. 즉, 큰 모델을 구성할 때 다양한 기능을 함께 결합할 수 있다는 것이 ​​의 기본 아이디어이기도 합니다. 다중 모드 모델 구축.

1. 다중 모드 대형 모델은 무엇을 할 수 있나요?

다중 모드 대형 모델은 비디오 이해와 같은 많은 작업을 수행할 수 있으므로 비디오의 요약 및 주요 정보를 요약하여 비디오를 보는 시간을 절약할 수 있습니다. 또한 프로그램 분류, 프로그램 등급 통계 등과 같은 비디오의 사후 분석을 수행하는 데 도움이 될 수 있습니다. 또한 Vincentian 그래프는 다중 모드 대형 모델의 중요한 응용 분야이기도 합니다.

대형 모델이 사람이나 로봇의 움직임과 결합하면 체화된 지능이 생성되는데, 사람과 마찬가지로 과거 경험을 바탕으로 최적의 경로를 계획하는 방식이 새로운 모델에 적용됩니다. 시나리오에서는 위험을 피하면서 이전에 발생하지 않은 몇 가지 문제를 해결하고, 최종적으로 성공할 때까지 실행 프로세스 중에 원래 계획을 수정할 수도 있습니다. 이는 또한 광범위한 전망을 가진 응용 시나리오이기도 합니다.

2. 다중 모드 대형 모델

위 그림은 다중 모드 대형 모델 개발 과정에서 몇 가지 중요한 노드를 보여줍니다.

• 2020년 ViT 모델(Vision Transformer)은 대규모 모델의 시작으로, 최초로 언어 및 논리 처리 외에 다른 유형의 데이터(시각적 데이터)에도 Transformer 아키텍처를 사용하여 이를 보여줍니다.
• 그런 다음 OpenAI의 오픈 소스 CLIP 모델을 통해 ViT 및 대규모 언어 모델을 사용하여 시각적 작업이 강력한 롱테일 일반화 기능, 즉 추론을 달성한다는 것이 다시 한 번 입증되었습니다. 상식을 통해 이전에는 볼 수 없었던 카테고리
• 2023년까지 PaLM-E(로봇), 속삭임(음성 인식), ImageBind(이미지 정렬), Sam( 의미론적 분할) ), 마지막으로 지리적 이미지에 이르기까지 Microsoft의 통합 다중 모드 아키텍처인 Kosmos2, 다중 모드 대형 모델이 빠르게 발전하고 있습니다.
• Tesla는 지난 6월 CVPR에서도 보편적인 세계 모델에 대한 비전을 제안했습니다.

위 사진에서 보시다시피 불과 반년만에 대형 모델에 많은 변화가 일어났고, 반복 속도도 매우 빠릅니다.

3. 모달 정렬 아키텍처

위 그림은 고정된 언어 모델과 고정된 시각적 모델 모델을 정렬하는 방법을 배우십시오. 정렬은 시각적 모델의 벡터 공간과 언어 모델의 벡터 공간을 결합한 다음 통합된 벡터 공간에서 둘 사이의 내부 논리적 관계를 이해하는 것입니다.

사진에 표시된 Flamingo 모델과 BLIP2 모델은 모두 유사한 구조를 채택하고 있습니다(Flamingo 모델은 Perceiver 아키텍처를 사용하는 반면 BLIP2 모델은 Transformer 아키텍처의 개선된 버전을 사용함). 다양한 대조 학습 방법을 통해 더 나은 정렬 효과를 얻기 위해 많은 양의 토큰이 사용되며 최종적으로 특정 작업에 따라 모델이 미세 조정됩니다.

2. Jiuzhang Yunji DataCanvas의 멀티모달 대형 모델 플랫폼

1. AI Foundation Software(AIFS)

Jiuzhang Yunji DataCanvas는 인공지능 기본 소프트웨어 제공업체이자 컴퓨팅 인적 자원(포함)을 제공합니다. GPU 클러스터)를 사용하여 고성능 스토리지 및 네트워크 최적화를 수행합니다. 이를 기반으로 데이터 주석 모델링 실험 샌드박스 등을 포함한 대규모 모델 훈련 도구가 제공됩니다. Jiuzhang Yunji DataCanvas는 시중에 나와 있는 일반적인 오픈 소스 대형 모델을 지원할 뿐만 아니라 Yuanshi 다중 모드 대형 모델을 독립적으로 개발합니다. 애플리케이션 계층에서는 프롬프트 단어를 관리하고, 모델을 미세 조정하고, 모델 운영 및 유지 관리 메커니즘을 제공하는 도구가 제공됩니다. 동시에 기본 소프트웨어 아키텍처를 강화하기 위해 다중 모드 벡터 데이터베이스도 오픈 소스로 제공되었습니다.

2. 모델 도구 LMOPS

Jiuzhang Yunji DataCanvas는 데이터 준비(데이터 주석이 수동 주석 및 지능형 주석을 지원함), 모델 개발, 모델을 포함한 전체 수명 주기 개발 최적화에 중점을 둡니다. 평가(수평적 평가 및 수직적 평가 포함), 모델 추론(모델 수량화 지원, 지식 증류 및 기타 가속 추론 메커니즘), 모델 적용 등

3. LMB – Large Model Builder

모델을 구축할 때 데이터 병렬성, Tensor 병렬성, 파이프라인 병렬성 등 많은 분산되고 효율적인 최적화 작업이 수행되었습니다. 이러한 분산 최적화 작업은 원클릭으로 완료되며 시각적 제어를 지원하므로 인건비를 크게 절감하고 개발 효율성을 높일 수 있습니다.

4、LMB –대형 모델 빌더

보통 연속 훈련, 감독 조정, 강화 학습의 인간 피드백을 포함하여 대규모 모델 조정도 최적화되었습니다. 또한 중국어 어휘 자동 확장 등 중국어에 대한 많은 최적화가 이루어졌습니다. 대규모 오픈 소스 모델에는 많은 중국어 단어가 포함되어 있지 않기 때문에 이러한 단어는 여러 토큰으로 분할될 수 있습니다. 이러한 단어를 자동으로 확장하면 모델이 이러한 단어를 더 잘 사용할 수 있습니다.

5. LMS – 대형 모델 제공

대형 모델 제공도 매우 중요한 구성 요소입니다. 플랫폼은 모델 정량화, 지식 추출 및 기타 측면에서도 많은 최적화를 이루었습니다. 계산 시간을 크게 줄이고, 계층별 지식 증류를 통해 변환기를 가속화하여 계산량을 줄입니다. 동시에 많은 가지치기 작업(구조화된 가지치기, 희박한 가지치기 등)이 수행되어 대형 모델의 추론 속도가 크게 향상되었습니다.

또한 대화형 대화 프로세스도 최적화되었습니다. 예를 들어 다중 회전 대화형 Transformer에서는 반복 계산 없이 각 텐서의 키와 값을 기억할 수 있습니다. 따라서 Vector DB에 저장하여 대화 내역 메모리 기능을 구현하고 상호 작용 과정에서 사용자 경험을 향상시킬 수 있습니다.

6. 프롬프트 관리자

대형 모델 프롬프트 단어 디자인 및 구성 도구인 프롬프트 관리자는 사용자가 더 나은 프롬프트 단어를 디자인하도록 돕고 대형 모델이 더 정확하고 신뢰할 수 있으며 예상되는 출력 콘텐츠를 생성하도록 안내합니다. 이 도구는 기술 인력을 위한 개발 툴킷 개발 모드를 제공할 뿐만 아니라 비기술 인력을 위한 인간-컴퓨터 상호 작용 작업 모드도 제공하여 대형 모델 사용에 대한 다양한 그룹의 요구를 충족합니다.

주요 기능으로는 AI 모델 관리, 장면 관리, 프롬프트 단어 템플릿 관리, 프롬프트 단어 개발 및 프롬프트 단어 적용 등이 있습니다.

플랫폼은 버전 관리를 위해 일반적으로 사용되는 프롬프트 단어 관리 도구를 제공하고 프롬프트 단어 구현 속도를 높이기 위해 일반적으로 사용되는 템플릿을 제공합니다.

3. Jiuzhang Yunji DataCanvas 멀티모달 대형 모델

1. 멀티모달 대형 모델 - 메모리 포함

플랫폼 기능을 소개한 후 다음으로 멀티모달 모델을 공유하겠습니다. 대규모 모델 개발 사례.

위 그림은 Jiuzhang Yunji DataCanvas 다중 모드 대형 모델의 기본 프레임워크입니다. 다른 다중 모드 대형 모델과의 차이점은 오픈 소스 대형 모델을 개선할 수 있는 메모리가 포함되어 있다는 것입니다. 추론 기술.

일반적으로 대규모 오픈소스 모델의 매개변수 개수는 상대적으로 적습니다. 매개변수 중 일부가 메모리에 사용되면 추론 능력이 크게 저하됩니다. 대규모 오픈소스 모델에 메모리를 추가하면 추론 능력과 메모리 능력이 동시에 향상된다.

또한 대부분의 모델과 마찬가지로 다중 모드 대규모 모델도 대규모 언어 모델과 고정 데이터 인코딩을 수정하고 정렬 기능에 대해 별도의 모듈식 교육을 수행하므로 모든 다른 데이터 양식이 다음과 같이 정렬됩니다. 텍스트 추론 과정에서 언어가 먼저 번역된 다음 융합되고 마지막으로 추론 작업이 수행됩니다.

2. 비정형 데이터 ETL Pipeline

DingoDB 다중 모드 벡터 데이터베이스는 다중 모드 및 ETL 기능을 결합하므로 우수한 비정형 데이터 관리 기능을 제공할 수 있습니다. 플랫폼은 파이프라인 ETL 기능을 제공하며 연산자 컴파일, 병렬 처리 및 캐시 최적화를 포함하여 많은 최적화를 수행했습니다.

또한 플랫폼은 파이프라인을 재사용하여 가장 효율적인 개발 경험을 달성할 수 있는 허브를 제공합니다. 동시에 다양한 모달 데이터의 최적 인코딩을 달성할 수 있는 Huggingface의 많은 인코더를 지원합니다.

3. 다중 모드 대형 모델 구축 방법

Jiuzhang Yunji DataCanvas는 Yuanshi 다중 모드 대형 모델을 기반으로 사용자가 다른 오픈 소스 대형 모델을 선택할 수 있도록 지원하고 사용자가 자신의 모달을 사용할 수 있도록 지원합니다. 데이터 교육을 실시합니다.

대형 다중 모달 모델의 구성은 대략 세 단계로 나뉩니다.

• 첫 번째 단계: 대형 언어 모델 및 모달 인코더 훈련 정렬 및 쿼리 수정
• 두 번째 단계( 선택 사항, 다중 모드 검색 지원): 고정된 대형 언어 모델, 모달 인코더, 정렬 및 쿼리 모듈, 교육 검색 모듈
• 세 번째 단계(선택 사항, 특정 작업용): 대형 언어 미세 조정 지침 언어 모델.

4. 사례 - 지식 기반 구축

대형 모델의 메모리 아키텍처는 실제로 모델 애플리케이션인 다중 모드 지식 기반 구축을 실현하는 데 도움이 될 수 있습니다. Zhihu는 전형적인 다중 모드 지식 기반 응용 모듈이며 전문 지식을 추적할 수 있습니다.

지식의 확실성과 보안을 보장하기 위해서는 전문 지식의 출처를 추적하는 것이 필요한 경우가 많습니다. 지식 기반은 이러한 기능을 실현하는 데 도움이 될 수 있습니다. 동시에 새로운 지식을 추가하는 것이 더 편리합니다. .모델 매개변수를 수정하거나 직접 데이터베이스에 추가할 필요가 없습니다.

구체적으로 전문 지식을 활용하여 인코더를 통해 다양한 코딩 선택을 하는 동시에 다양한 평가 방법을 바탕으로 통일된 평가가 이루어지며, 원클릭 평가를 통해 인코더 선택이 실현됩니다. 마지막으로 인코더 벡터화를 적용하여 DingoDB 다중 모드 벡터 데이터베이스에 저장한 후 대형 모델의 다중 모드 모듈을 통해 관련 정보를 추출하고 언어 모델을 통해 추론을 수행한다.

모델의 마지막 부분에서는 지침을 미세 조정해야 하는 경우가 많습니다. 사용자마다 요구 사항이 다르기 때문에 전체 다중 모드 대형 모델을 미세 조정해야 합니다. 정보를 구성하는 데 있어 다중 모드 지식 기반의 특별한 이점으로 인해 모델은 학습 및 검색 기능을 갖습니다. 이는 텍스트 단락 과정에서 이루어진 혁신이기도 합니다.

일반 지식 기반은 문서를 단락으로 나눈 다음 각 단락을 독립적으로 잠금 해제하는 것입니다. 이 방식은 노이즈의 간섭을 받기 쉽고, 대용량 문서가 많은 경우 단락 구분 기준을 정하기 어렵다.

우리 모델에서는 검색 모듈이 학습을 수행하고 모델이 자동으로 적합한 구조화된 정보 조직을 찾습니다. 특정 제품의 경우 제품 설명서에서 시작하여 먼저 큰 카탈로그 단락을 찾은 다음 특정 단락을 찾습니다. 동시에 다중 모드 정보 통합으로 인해 텍스트 외에 이미지, 표 등도 포함하는 경우가 많습니다. 이를 벡터화하고 메타 정보와 결합하여 공동 검색을 달성함으로써 검색 효율성을 향상시킬 수 있습니다.

검색 모듈은 유사한 알고리즘에 비해 회상률을 10% 높일 수 있는 메모리 주의 메커니즘을 사용한다는 점을 언급할 가치가 있습니다. 메모리 주의 메커니즘은 다중 모드 문서 처리에 사용될 수 있습니다. , 이는 또한 매우 유리한 측면입니다.

4. 미래에 대한 생각과 전망

1. 기업 데이터 관리 - 지식 기반

기업 데이터의 85%는 비정형 데이터입니다. .만 15%는 구조화된 데이터입니다. 지난 20년 동안 인공지능은 주로 정형 데이터를 중심으로 발전해 왔습니다. 비정형 데이터는 활용이 매우 어렵고 이를 정형 데이터로 변환하는 데 많은 에너지와 비용이 필요합니다. 다중 모드 대형 모델 및 다중 모드 지식 기반의 도움과 인공 지능의 새로운 패러다임을 통해 기업 내부 관리에서 비정형 데이터 활용이 크게 향상될 수 있으며, 이는 10배 증가를 가져올 수 있습니다. 미래의 가치.

2. 지식 기반 --> 에이전트

다중형 지식 기반은 R&D 에이전트, 고객 서비스 에이전트, 판매 에이전트, 법률 에이전트, 인력 자원과 같은 기능을 통해 에이전트의 기반 역할을 합니다. 에이전트와 기업 운영 및 유지 관리 에이전트는 모두 지식 기반을 통해 운영될 수 있습니다.

판매 에이전트를 예로 들어 보겠습니다. 공통 아키텍처에는 동시에 존재하는 두 개의 에이전트가 포함되며, 그 중 하나는 의사 결정을 담당하고 다른 하나는 판매 단계 분석을 담당합니다. 두 모듈 모두 제품 정보, 과거 판매 통계, 고객 초상화, 과거 판매 경험 등을 포함한 다중 모드 지식 기반을 통해 관련 정보를 검색할 수 있습니다. 이 정보는 통합되어 두 에이전트가 최선의 올바른 작업을 수행하는 데 도움이 됩니다. 결과적으로 사용자가 최상의 판매 정보를 얻을 수 있도록 돕고, 이 정보는 다중 모드 데이터베이스에 기록됩니다. 이 주기는 판매 성과를 지속적으로 향상시킵니다.

미래에 가장 가치 있는 기업은 지능을 실천하는 기업이 될 것이라고 믿습니다. Jiuzhang Yunji DataCanvas가 여러분과 함께하며 서로를 도울 수 있기를 바랍니다.

위 내용은 Jiuzhang Yunji DataCanvas 다중 모드 대형 모델 플랫폼에 대한 실습 및 고찰의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!