ZTE, 'Nebula R&D 빅 모델' 출시: AI 프로그래밍 보조자, 1000억 개의 토큰으로 충격적인 데뷔

IT House는 2023년 10월 11일부터 13일까지 진행된 차이나 모바일 글로벌 파트너 컨퍼런스에서 ZTE가 개발자가 수요 분석과 제품 설계, 프로그래밍, 테스트 및 버전 배포를 수행하는 데 도움이 되도록 설계된 'Nebula R&D 대형 모델'을 시연했다고 보도했습니다. 등

보고서에 따르면 "Nebula R&D Large Model"은 사용 범위를 효과적으로 제어할 수 있는 화이트리스트 메커니즘을 지원합니다. 동시에 코드 특징값 인식을 통해 민감한 코드 조각을 효과적으로 식별하고 민감한 단어 인식 메커니즘을 통해 민감한 콘텐츠를 실시간으로 모니터링하고 차단할 수도 있습니다. 또한 이 모델에는 보안 이벤트를 완전히 추적할 수 있는 백그라운드 감사 메커니즘도 있습니다

ZTE는 2023년 4월 'Nebula R&D Large Model'을 출시했다고 밝혔습니다. 현재 일일 활성 사용자 수는 12,000명에 달하고 코드 채택률은 40%~45%에 도달했으며 코딩 효율성은 2배나 향상되었습니다. 30%, 전체 R&D 효율성은 10% 증가했습니다.

공식 발표에 따르면 IT Home은 ZTE가 도메인 데이터, 지식 축적, 통신 분야의 수많은 기술 문서, 1000억 개의 무선/코어 네트워크/클라우드 코드 코퍼스를 증분 사전 구축을 위한 대규모 모델에 주입할 것이라는 사실을 알게 되었습니다. -훈련 및 병렬 훈련 프레임워크 채택

ZTE 주장: “자체 개발한 배포 솔루션은 무손실 모델 정량화와 결합된 동적 일괄 처리 전략과 PagedAttention 기술을 채택하여 처리량을 크게 향상시킵니다. 단일 GPU(A800)의 처리량은 4개의 GPU만 사용하여 초당 1500개 토큰에 도달합니다. 카드(A800)는 업계의 기존 배포 방식과 비교하여 1000명 이상의 요구를 충족할 수 있으며, 동시에 단일 GPU의 처리량도 10배 이상 증가했습니다. , int4 양자화 기술과 결합하여 모델의 정확도를 저하시키지 않고 모델 크기와 메모리 사용량을 절반으로 줄입니다.”

위 내용은 ZTE, 'Nebula R&D 빅 모델' 출시: AI 프로그래밍 보조자, 1000억 개의 토큰으로 충격적인 데뷔의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!