JAMBA 1.5 : 하이브리드 맘바 트랜스포머 아키텍처를 특징으로합니다

Jamba 1.5 : 장기 텍스트 처리를위한 강력한 하이브리드 언어 모델

AI21 Labs의 최첨단 대형 언어 모델 인 Jamba 1.5는 광범위한 텍스트 컨텍스트를 처리하는 데 인상적인 기능을 자랑합니다. Jamba 1.5 대형 (940 억 파라미터)과 Jamba 1.5 Mini (120 억 파라미터)의 두 가지 버전으로 제공됩니다. Mamba Structured State Space Model (SSM)과 전통적인 변압기 아키텍처를 결합한 고유 한 하이브리드 아키텍처를 활용합니다. 이 혁신적인 접근 방식은 전례없는 256K 효과적인 컨텍스트 창을 처리 할 수 ​​있으며, 이는 오픈 소스 모델의 중요한 도약입니다.

주요 기능 및 기능 :

• 대규모 컨텍스트 창 : 최대 256k 토큰의 프로세스로 긴 문서와 복잡한 작업에 이상적입니다.
• 하이브리드 아키텍처 : 최적의 효율성과 성능을 위해 변압기 및 맘바 모델의 강점을 결합합니다.
• 효율적인 양자화 : Memory Footprint 감소 및 더 빠른 처리를 위해 ExpertsInt8 Quantization을 사용합니다.
• 다국어 지원 : 영어, 스페인어, 프랑스어, 포르투갈어, 이탈리아, 네덜란드, 독일어, 아랍어 및 히브리어 등 9 개 언어에 걸쳐 효과적으로 기능합니다.
• 다목적 응용 프로그램 : 질문 답변, 요약, 텍스트 생성 및 분류를 포함하여 광범위한 NLP 작업에 적합합니다.
• 액세스 가능한 배포 : AI21의 Studio API, Hugging Face 및 Cloud Partners를 통해 사용할 수 있습니다.

건축 세부 사항 :

측면	세부
기본 아키텍처	MOE (Mix-of-Experts) 모듈을 갖춘 하이브리드 변압기-엄마 아키텍처
모델 변형	Jamba-1.5-Large (94b 활성 매개 변수, 398b 총) 및 Jamba-1.5-Mini (12b 활성 매개 변수, 52b 총)
층 구성	각각 8 개의 층이있는 9 개의 블록; 1 : 7 변압기 대 맘바 층의 비
전문가 혼합 (Moe)	16 명의 전문가, 토큰 당 상위 2 개를 선택합니다
숨겨진 치수	8192
주의 머리	64 쿼리 헤드, 8 개의 키 가치 헤드
컨텍스트 길이	최대 256k 토큰
양자화 기술	MOE 및 MLP 계층의 전문가 인 경우
활성화 기능	통합 변압기 및 맘바 활성화
능률	8x80GB GPU의 높은 처리량 및 낮은 대기 시간에 최적화

Jamba 1.5 액세스 및 활용 :

Jamba 1.5는 AI21의 Studio API와 Hugging Face를 통해 쉽게 액세스 할 수 있습니다. 특정 도메인이 성능을 더욱 향상시키기 위해 모델을 미세 조정할 수 있습니다. AI21 API를 사용한 파이썬 예제는 다음과 같습니다.

파이썬 예 :

 ai21 import ai21Client에서
ai21.models에서 chatmessage 가져 오기

message = [chatmessage (content = "2-3 줄의 토큰 화기는 무엇입니까?", 역할 = "사용자")]
client = ai21client (api_key = '') # api 키로 ''교체
응답 = client.chat.completions.create (
    메시지 = 메시지,
    Model = "Jamba-1.5-Mini",
    스트림 = 참
))
응답으로 청크 :
    print (chunk.choices [0] .delta.content, end = "") 

결론:

Jamba 1.5는 대형 언어 모델에서 중요한 발전을 나타내며, 강력한 전력과 효율성을 조화시킵니다. 다재다능한 애플리케이션 및 액세스 가능한 배포 옵션과 함께 매우 긴 컨텍스트를 처리하는 기능은 광범위한 NLP 작업을위한 유용한 도구입니다.

자주 묻는 질문 (FAQ) : (원본과 유사하지만 간결함을 위해 다시 제작)

• Q1 : Jamba 1.5는 무엇입니까? A : 94B (대형) 또는 12B (MINI) 매개 변수를 가진 하이브리드 변압기-엄마 대형 언어 모델.
• Q2 : Jamba 1.5는 긴 상황을 효율적으로 어떻게 처리합니까? A : 하이브리드 아키텍처 및 전문가가 양자화를 통해 메모리 사용이 줄어든 256K 토큰 컨텍스트 창을 가능하게합니다.
• Q3 : ExpertsInt8 Quantization이란 무엇입니까? A : 효율성을 향상시키기 위해 MOE 및 MLP 층에서 INT8 정밀도를 사용한 압축 기술.
• Q4 : Jamba 1.5가 공개적으로 제공됩니까? A : 그렇습니다. Jamba Open Model 라이센스에 따라 포옹을 통해 액세스 할 수 있습니다.

위 내용은 JAMBA 1.5 : 하이브리드 맘바 트랜스포머 아키텍처를 특징으로합니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!