최강모델 라마 3.1 405B 정식 출시, 주커버그: 오픈소스가 새로운 시대를 선도하다

지금, 오랫동안 기다려온 Llama 3.1이 공식 출시되었습니다!

메타는 "오픈소스가 새로운 시대를 선도한다"는 목소리를 공식적으로 내놨습니다.

메타는 공식 블로그를 통해 “현재까지 오픈소스 대형 언어 모델은 기능성이나 성능 면에서 대부분 폐쇄형 모델에 뒤처져 있었다. 이제 우리는 오픈소스가 이끄는 새로운 시대를 열고 있다. Meta Llama 3.1 405B를 공개적으로 출시했습니다. 우리는 이것이 현재까지 모든 Llama 버전이 3억 회 이상 다운로드된 세계에서 가장 크고 강력한 오픈 소스 기반 모델이라고 믿으며 이제 막 시작하고 있습니다."

Meta의 창립자이자 CEO인 Zuckerberg는 오픈 소스가 모든 개발자와 Meta, 그리고 세계에 좋은 이유를 설명하는 "오픈 소스 AI가 앞으로 나아갈 길입니다"라는 장문의 글을 직접 썼습니다.

이번 릴리스의 주요 내용은 다음과 같습니다.

• 최신 모델 시리즈는 컨텍스트 길이를 128K로 확장하고 8개 언어에 대한 지원을 추가하며 최고의 오픈 소스 모델 Llama 3.1 405B를 포함합니다. Llama 3.1 405B는 자체 리그에 속하며 Meta는 공식적으로 최고의 비공개 소스 모델과 비교할 수 있다고 말합니다.
• 이 릴리스는 또한 Llama를 만들기 위해 모델과 함께 사용할 수 있는 더 많은 구성 요소(참조 시스템 포함)를 제공합니다. 하나의 시스템,
• 사용자는 WhatsApp 및 Meta.ai를 통해 Llama 3.1 405B를 경험할 수 있습니다.

주소: https://llama.meta.com/

다운받아서 사용해 보실 수 있습니다.

Llama 3.1 소개

Llama 3.1 405B는 상식, 조작 가능성, 수학, 도구 사용 및 다국어 번역 측면에서 최고의 AI 모델과 비교할 수 있는 최초의 공개 모델입니다.

Meta는 최신 세대의 Llama가 합성 데이터 생성을 활용하여 더 작은 모델을 강화하고 교육하는 것은 물론 오픈 소스 공간에서 이전에는 볼 수 없었던 접근 방식인 모델 증류를 포함하여 새로운 애플리케이션과 모델링 패러다임에 영감을 줄 것이라고 말합니다. 달성하기 위해.

동시에 Meta는 128K의 컨텍스트 길이와 더 강력한 추론 기능을 갖춘 다국어를 지원하는 8B 및 70B 모델의 업그레이드 버전도 출시했습니다. 최신 모델은 긴 형식의 텍스트 요약, 다국어 대화 에이전트, 코딩 도우미와 같은 고급 사용 사례를 지원합니다.

예를 들어 Llama 3.1은 스토리를 스페인어로 번역할 수 있습니다.

사용자가 "셔츠 3벌, 반바지 5벌, 드레스 1벌이 있습니다. 10일 동안 여행하고 싶다고 가정해 보겠습니다. 옷이면 충분합니까? "모델은 추론을 빠르게 수행할 수 있습니다.

긴 컨텍스트: 업로드된 문서의 경우 Llama 3.1은 최대 8,000개 토큰의 대규모 문서를 분석하고 요약할 수 있습니다.

Coding Assistant, 사용자 요구 사항에 따라 신속하게 코드를 작성할 수 있습니다.

또한 Llama 3.1 405B의 개발자는 "스포일러"라는 트윗을 올리며 GPT-4o와 같은 음성 및 시각적 기능을 통합한 모델 개발이 아직 개발 중임을 밝혔습니다.

Meta는 개발자가 Llama 모델(405B 포함)의 출력을 사용하여 다른 모델을 개선할 수 있도록 오픈 소스 라이선스도 변경했습니다. 또한 Meta는 오픈 소스 약속에 따라 오늘부터 이러한 모델을 커뮤니티에서 llama.meta.com 및 Hugging Face에서 다운로드할 수 있도록 제공하고 있습니다.

다운로드 주소:

• https://huggingface.co/meta-llama
• https://llama.meta.com/

모델 평가

Meta는 150개 이상의 벤치마크 데이터세트를 통해 평가되며, 광범위한 인간 평가도 수행합니다.

실험 결과에 따르면 주력 모델인 Llama 3.1 405B는 다양한 작업에서 GPT-4, GPT-4o 및 Claude 3.5 Sonnet을 포함한 주요 기본 모델과 경쟁력이 있는 것으로 나타났습니다. 또한 8B 및 70B 소형 모델은 유사한 수의 매개변수를 가진 폐쇄 소스 및 오픈 소스 모델과 경쟁력이 있습니다.

모델 아키텍처

Meta의 현재 최대 모델인 만큼 15조 개 이상의 토큰을 사용하여 Llama 3.1 405B를 훈련시키는 것은 큰 도전입니다. 이 규모의 훈련을 가능하게 하기 위해 Meta는 전체 훈련 스택을 최적화하고 16,000개 이상의 H100 GPU에서 훈련하여 이 모델이 이 규모에서 훈련된 최초의 Llama 모델이 되었습니다.

이 문제를 해결하기 위해 Meta는 모델 개발 프로세스를 확장 가능하고 단순하게 유지하는 데 중점을 두고 다음과 같은 디자인 선택을 했습니다.

• 훈련 안정성을 극대화하기 위해 하이브리드 전문가 모델 대신 약간의 조정만 수행한 표준 디코더 Transformer 모델 아키텍처를 선택했습니다.
• 각 라운드에서 감독된 미세 조정 및 직접 선호도 최적화를 사용하여 반복적인 사후 학습 절차를 채택합니다. 이를 통해 Meta는 모든 라운드에 대해 최고 품질의 합성 데이터를 생성하고 모든 기능의 성능을 향상시킬 수 있습니다.

Meta는 이전 버전의 Llama에 비해 사전 훈련 데이터에 대한 보다 세심한 전처리 및 관리 파이프라인을 개발하는 등 사전 훈련 및 사후 훈련에 사용되는 데이터의 양과 품질을 개선했습니다. 훈련 후 데이터를 더욱 엄격한 품질 보증 및 필터링 방법을 개발합니다.

언어 모델 확장 법칙에서 예상한 대로 Meta의 새로운 플래그십 모델은 동일한 절차를 사용하여 훈련된 소형 모델보다 성능이 뛰어납니다. Meta는 또한 405B 매개변수 모델을 사용하여 더 작은 모델의 학습 후 품질을 향상시킵니다.

405B 모델의 대규모 추론 출력을 지원하기 위해 Meta는 모델을 16비트(BF16)에서 8비트(FP8)로 양자화하여 필요한 컴퓨팅 요구 사항을 효과적으로 줄이고 모델이 단일 서버 노드.

명령 및 채팅 조정

Llama 3.1 405B는 높은 수준의 보안을 보장하면서 사용자 지침에 응답할 때 모델의 유용성, 품질 및 자세한 지침을 개선하기 위해 노력합니다.

사후 학습 단계에서 연구팀은 사전 학습된 모델을 기반으로 여러 차례의 정렬을 수행하여 최종 채팅 모델을 구축했습니다. 각 라운드에는 감독된 미세 조정(SFT), 거부 샘플링(RS) 및 직접 선호 최적화(DPO)가 포함됩니다.

연구팀은 합성 데이터 생성을 사용하여 대다수의 SFT 예제를 생성하고 여러 번 반복하여 모든 기능에 걸쳐 점점 더 높은 품질의 합성 데이터를 생성합니다. 또한 연구팀은 이러한 합성 데이터를 최고 품질로 필터링하고 기능 확장성에 걸쳐 데이터 볼륨을 미세 조정하기 위해 다양한 데이터 처리 기술을 사용했습니다.

Llama 시스템

Llama 모델은 항상 AI 시스템의 일부로 존재해 왔으며 외부 도구 호출을 포함하여 여러 구성 요소를 조정할 수 있습니다. Meta는 기본 모델을 뛰어 넘어 개발자가 자신의 비전에 맞는 맞춤형 제품을 설계하고 제작할 수 있는 유연성을 제공하도록 설계되었습니다.

모델 계층을 넘어 책임 있는 AI 개발을 위해 Meta는 여러 예제 애플리케이션은 물론 다국어 보안 모델인 Llama Guard 3 및 Prompt Guard(프롬프트 주입 필터)와 같은 새로운 구성 요소를 포함하는 완전한 참조 시스템을 출시했습니다. . 이러한 샘플 애플리케이션은 오픈 소스이며 오픈 소스 커뮤니티에서 구축할 수 있습니다.

업계, 스타트업, 오픈 소스 커뮤니티와 보다 광범위하게 협력하여 구성 요소의 인터페이스를 더 잘 정의하기 위해 Meta는 GitHub에 "Llama Stack"에 대한 댓글 요청을 게시했습니다. Llama Stack은 표준 도구 체인 구성요소(미세 조정, 합성 데이터 생성) 및 에이전트 애플리케이션을 구축하기 위한 표준화된 인터페이스 세트입니다. 이는 상호 운용성을 보다 쉽게 ​​달성하는 데 도움이 됩니다.
닫힌 모델과 달리 Llama 모델 무게는 다운로드 가능합니다. 개발자는 필요와 애플리케이션에 맞게 모델을 완전히 사용자 정의하고, 새로운 데이터 세트를 학습하고, 추가적인 미세 조정을 수행할 수 있습니다.

Llama 3.1 405B를 사용하여 개발

일반 개발자에게 405B와 같은 대규모 모델을 배포하는 것은 의심할 여지 없이 어려운 일이며 많은 컴퓨팅 리소스와 전문 기술이 필요합니다. 개발자 커뮤니티와 소통하면서 Meta는 생성 ​​AI의 개발이 단순히 모델에 입력 프롬프트를 제공하는 것 이상임을 깨달았습니다. 그들은 모든 개발자가 다음 영역에서 Llama 3.1 405B의 잠재력을 최대한 활용할 것으로 기대합니다.

• 실시간 및 일괄 추론
• 감독된 미세 조정
• 특정 분야에서 모델 성능 테스트 및 평가 애플리케이션
• 지속적인 사전 훈련
• RAG(증강 생성) 검색
• 함수 호출
• 합성 데이터 생성

지금부터 출시되는 Llama 3.1 40 모든 고급 기능 5B 모델 중 하나가 공개되어 개발자가 즉시 시작할 수 있습니다. 개발자는 모델 증류를 기반으로 한 합성 데이터 생성과 같은 고차원 워크플로우를 탐색할 수도 있습니다. 이번 업그레이드에서 Meta는 파트너인 AWS, NVIDIA 및 Databricks가 제공하는 솔루션을 원활하게 통합하여 보다 효율적인 검색 증강 생성(RAG)을 달성합니다. 또한 Groq는 클라우드에 모델을 배포하기 위한 짧은 지연 시간 추론에 최적화되었으며 로컬 시스템에 대해서도 유사한 성능 개선이 이루어졌습니다.

Meta는 이번에 vLLM, TensorRT 및 PyTorch와 같은 주요 프로젝트를 포함하여 Llama 3.1 405B용 "도구 선물 패키지"를 모델 개발부터 "즉시 사용 가능한" 배포까지 올인원으로 내장했습니다. 단계.

^{참고링크: https://ai.meta.com/blog/meta-llama-3-1/}

위 내용은 최강모델 라마 3.1 405B 정식 출시, 주커버그: 오픈소스가 새로운 시대를 선도하다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!