현재 세 가지 다른 크기로 제공되는 이 모델은 기업이 개발 워크플로에서 다양한 코드 관련 작업을 가속화할 수 있도록 저자원 언어를 포함해 600개 이상의 프로그래밍 언어로 훈련되었으며, 개방형 환경에서 개발되었습니다. 대규모 코드 언어 모델의 책임 있는 개발 및 사용을 보장하기 위한 ServiceNow와 Huging Face의 공동 이니셔티브인 BigCode 프로젝트는 공개 Responsible AI 라이선스에 따라 무료로 제공됩니다.
StarCoder2의 출시는 윤리적인 데이터 공급망과 결합된 개방형 과학적 협업과 책임감 있는 AI 관행에서 나올 수 있는 엄청난 힘을 확인시켜 줍니다. ServiceNow의 StarCoder2 개발 팀장이자 BigCode의 공동 리더인 Harm de Vries는 성명에서 새로운 개방형 액세스 모델이 이전 GenAI 성능을 향상시킬 뿐만 아니라 개발자 생산성을 향상시키고 접근성을 향상시킨다고 지적했습니다. 코드 생성 AI의 이점을 통해 모든 규모의 기업이 비즈니스 잠재력을 최대한 실현할 수 있습니다.
BigCode의 최신 제품은 StarCoder LLM의 단순한 업그레이드가 아니라 3B, 7B, 15B의 서로 다른 크기의 세 가지 모델을 출시하고 지원되는 프로그래밍 언어를 확장하여 619종에 도달했습니다. 차세대 제품에서는 Stack이라는 모델에 대한 훈련 데이터의 양이 이전 제품에 비해 거의 7배 증가했습니다. 이는 BigCode가 개발자에게 다양한 프로그래밍 작업에서 성공할 수 있도록 더욱 강력하고 포괄적인 도구와 리소스를 제공하기 위해 끊임없이 발전하고 있음을 의미합니다. 이러한 혁신적인 정신과 지속적인 개선 태도로 인해 BigCode는 개발자가 신뢰하고 의존하는 플랫폼이 되었으며, 더 넓은 범위의 학습 및 적용 기회를 제공하게 되었습니다. BigCode의 개발은 기술 및 프로그래밍 분야에 대한 지속적인 투자와 집중을 보여주며 전체 산업에 새로운 가능성과 기회를 제공합니다.
BigCode 커뮤니티는 모델이 COBOL, 수학, 프로그램 소스 코드와 같은 저자원 프로그래밍 언어를 이해하고 생성할 수 있도록 최신 세대 교육 기술을 사용합니다. 이러한 접근 방식은 사용자가 다양한 프로그래밍 언어와 코드 토론을 더 잘 이해할 수 있도록 돕는 데 중요합니다.
30억 매개변수 모델은 ServiceNow의 Fast LLM 프레임워크를 사용하여 학습되었으며, 7B 모델은 Hugging Face의 Nantron 프레임워크를 기반으로 개발되었습니다. 두 모델 모두 텍스트-코드 생성 및 텍스트-워크플로 생성을 위한 고성능을 제공하면서도 더 적은 계산 리소스를 필요로 하도록 설계되었습니다.
동시에 엔드투엔드 NVIDIA Nemo 클라우드 네이티브 프레임워크와 NVIDIA TensorRT-LLM 소프트웨어를 사용하여 최대 150억 개의 매개변수 모델을 훈련하고 최적화했습니다.
이러한 모델이 다양한 인코딩 시나리오에서 어떻게 작동하는지 지켜봐야 하지만 회사에서는 가장 작은 3B 모델이 원래 15B StarCoder LLM과 동등한 성능을 발휘한다는 점에 주목합니다.
필요에 따라 엔터프라이즈 팀은 이러한 모델 중 하나를 사용하고 애플리케이션 소스 코드 생성, 워크플로 생성 및 텍스트 요약에서 코드에 이르기까지 특별한 작업이 될 수 있는 다양한 사용 사례에 맞게 엔터프라이즈 데이터를 기반으로 모델을 추가로 미세 조정할 수 있습니다. 완성, 고급 코드 요약 및 코드 조각 검색.
회사에서는 이러한 모델이 더욱 광범위하고 깊이 있게 훈련되어 상황을 더 잘 인식하고 정확한 예측을 제공할 수 있다고 강조했습니다. 고도로 훈련된 이 모델은 저장소의 컨텍스트를 더 잘 이해할 수 있습니다. 궁극적으로 이러한 노력은 개발 노력을 가속화하는 기반을 마련하여 엔지니어와 개발자가 더 중요한 작업에 더 많은 에너지를 집중할 수 있게 해줍니다.
NVIDIA의 응용 연구 담당 부사장인 Jonathan Cohen은 언론 성명에서 다음과 같이 말했습니다. "모든 소프트웨어 생태계에는 고유한 프로그래밍 언어가 있기 때문에 Code LLM은 모든 산업에서 효율성과 혁신의 획기적인 발전을 이룰 수 있습니다."
"NVIDIA 파트너십 ServiceNow와 Huging Face를 통해 안전하고 책임감 있는 개발 모델을 도입하고 책임감 있는 GenAI에 대한 더 폭넓은 접근을 지원함으로써 글로벌 커뮤니티에 도움이 되기를 바랍니다”라고 덧붙였습니다.
앞서 언급했듯이 StarCoder2 시리즈의 모든 모델은 Open Rail-M 라이선스에 따라 제공되며 로열티 없이 액세스하고 사용할 수 있습니다. 지원 코드는 BigCode 프로젝트의 GitHub 저장소에서 찾을 수 있습니다. 대안으로 팀은 Hugging Face의 세 가지 모델을 모두 다운로드하여 사용할 수도 있습니다.
그러나 NVIDIA에서 훈련한 150억 개의 모델도 NVIDIA AI Foundation에서 사용할 수 있으므로 개발자는 브라우저나 API 엔드포인트를 통해 직접 실험할 수 있습니다.
StarCoder가 AI 기반 코드 생성 분야의 첫 번째 참가자는 아니지만, 최신 세대의 프로젝트가 제공하는 광범위한 옵션을 통해 기업은 확실히 애플리케이션 개발에 LLMS를 활용하는 동시에 계산 비용도 절약할 수 있습니다.
이 분야의 다른 주목할만한 플레이어로는 GitHub 연합 파일럿 서비스를 지원하는 Codex를 제공하는 OpenAI와 CodeWhisper 도구를 제공하는 Amazon이 있으며 Replit 및 Codenium과의 치열한 경쟁이 있으며 Replit는 Hugging Face에서 여러 가지를 보유하고 있습니다. 소규모 AI 코딩 모델인 Codenium은 최근 5억 달러 가치로 시리즈 B 자금 조달에서 6,500만 달러를 유치했습니다.
위 내용은 Nvidia, Hugging Face 및 ServiceNow가 코드 생성을 위한 새로운 StarCoder2 LLM 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
