NVIDIA, 일본과 대만에서 생성 AI용 NIM 마이크로서비스 출시

Alvin Lang 2024년 8월 27일 02:52 NVIDIA는 일본과 대만에서 생성 AI를 지원하는 NIM 마이크로서비스를 출시하여 지역 언어 모델과 로컬 AI 애플리케이션을 향상시켰습니다.

NVIDIA는 지역 언어 모델을 강화하고 本土化 생성 AI 애플리케이션 개발을 지원하기 위해 일본과 대만에서 생성 AI 애플리케이션용 NIM 마이크로서비스를 도입했습니다.

토요일 NVIDIA 블로그 게시물에서 발표된 새로운 마이크로서비스는 개발자가 현지 언어와 문화적 차이에 민감한 생성 AI 애플리케이션을 구축하고 배포하는 데 도움을 주기 위해 설계되었습니다. 마이크로서비스는 인기 있는 커뮤니티 모델을 지원하여 지역 언어와 문화유산을 기반으로 한 향상된 이해와 응답을 통해 사용자 상호 작용을 향상합니다.

ABI Research에 따르면 아시아 태평양 지역의 생성 AI 소프트웨어 수익은 2024년 50억 달러에서 2030년까지 480억 달러에 이를 것으로 예상됩니다. NVIDIA의 새로운 마이크로서비스는 다음과 같은 고급 도구를 제공함으로써 이러한 성장에 중요한 역할을 할 것으로 예상됩니다. AI 개발.

새로운 제품 중에는 각각 일본어 및 중국어 데이터로 훈련된 Llama-3-Swallow-70B 및 Llama-3-Taiwan-70B 모델이 있습니다. 이러한 모델은 현지 법률, 규정 및 관습에 대한 더 깊은 이해를 제공하도록 설계되었습니다.

Mistral-7B를 기반으로 구축된 RakutenAI 7B 모델 제품군은 영어 및 일본어 데이터 세트로 훈련되었으며 채팅 및 교육 기능을 위한 NIM 마이크로서비스로 사용할 수 있습니다. 이 모델은 2024년 1월부터 3월까지 LM Evaluation Harness 벤치마크에서 개방형 일본어 대형 언어 모델 중 최고의 평균 점수를 달성했습니다.

일본과 대만의 여러 조직에서는 이미 NVIDIA의 NIM 마이크로서비스를 사용하여 생성 AI 애플리케이션을 개발하고 배포하고 있습니다.

예를 들어 Tokyo Institute of Technology는 일본어 데이터를 사용하여 Llama-3-Swallow 70B 모델을 미세 조정했습니다. 일본 AI 회사인 Preferred Networks는 이 모델을 사용하여 일본 의료 데이터를 학습한 의료 관련 AI를 개발하고 있으며, 일본 의사 국가 시험에서 최고 점수를 획득했습니다.

대만에서 Chang Gung Memorial Hospital은 의료 커뮤니케이션을 개선하기 위해 Llama-3-Taiwan 70B 모델을 사용하여 병원 시스템 내에서 LLM 애플리케이션을 중앙에서 호스팅하는 맞춤형 AI 추론 서비스를 구축하고 있습니다. 대만에 본사를 둔 전자 제조업체인 Pegatron은 내부 및 외부 애플리케이션 모두에 이 모델을 채택하고 이를 PEGAai Agentic AI 시스템과 통합하여 제조 및 운영 효율성을 높이고 있습니다.

개발자는 이제 NIM 마이크로서비스로 패키지된 이러한 주권 AI 모델을 대규모 프로덕션에 배포하는 동시에 향상된 성능을 달성할 수 있습니다. NVIDIA AI Enterprise에서 사용할 수 있는 마이크로서비스는 NVIDIA TensorRT-LLM 오픈 소스 라이브러리를 통한 추론에 최적화되어 최대 5배 더 높은 처리량을 제공하고 프로덕션에서 모델을 실행하는 데 드는 총 비용을 낮춥니다.

새로운 NIM 마이크로서비스는 현재 호스팅된 API(애플리케이션 프로그래밍 인터페이스)로 제공됩니다.

NVIDIA NIM이 어떻게 생성 AI 결과를 가속화할 수 있는지 자세히 알아보려면 여기에서 제품 페이지를 방문하세요.

LLM과 같은 생성 AI 모델은 텍스트, 코드, 이미지 및 비디오 생성을 포함한 다양한 작업을 수행하는 능력으로 인기를 얻었습니다. 그러나 특히 빠르고 정확한 결과가 필요한 조직의 경우 이러한 모델을 배포하는 것이 어려울 수 있습니다.

이러한 요구를 해결하기 위해 NVIDIA는 생성적 AI 모델에 대한 보안, 성능 최적화 및 중앙 집중식 관리를 제공하는 NVIDIA AI Enterprise 소프트웨어 플랫폼 및 NVIDIA AI 레지스트리를 포함한 다양한 솔루션을 제공합니다.

이러한 솔루션을 통해 조직은 모델을 빠르고 효율적으로 배포하여 애플리케이션에 대한 최적의 성능과 안정성을 보장할 수 있습니다.

위 내용은 NVIDIA, 일본과 대만에서 생성 AI용 NIM 마이크로서비스 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!