Chrome API를 사용한 로컬 AI

인공지능(AI)을 활용하는 대부분의 제품은 API를 사용하여 API를 사용하고 API가 서버에 연결하여 결과를 웹에 반환하는 것이 일반적입니다. 이는 작업 강도가 높고 처리 능력이 많이 필요할 때 매우 유용합니다.

그런데 간단한 작업에 더 효율적인 옵션이 있을까요?

Chrome 팀은 Gemini Nano 모델과 로컬로 상호작용할 수 있는 API를 실험적으로 출시했습니다. 따라서 복잡한 작업을 위해 Gemini Pro 1.5와 같은 더 큰 모델을 사용할 필요가 없습니다.

주요 차이점

1. 로컬 통합: 모델을 배포할 필요가 없습니다. 브라우저에 직접 통합되어 다운로드, 업데이트 및 개선 사항을 관리합니다. 개발자는 이를 애플리케이션에 통합하는 것에 대해서만 걱정하면 됩니다.

2. 다운로드 효율성: 애플리케이션에서 모델을 다운로드하지 않아도 되므로 효율성이 향상됩니다. 웹 환경에서는 작은 모델이라도 크기가 클 수 있습니다. 예를 들어, Transformer.js 모델의 무게는 약 60MB입니다.

3. 향상된 성능: 이 로컬 통합을 통해 GPU와 같은 장치 리소스에 액세스할 수 있어 성능이 크게 향상됩니다.

로컬에서 모델을 실행하면 얻을 수 있는 이점

• 서버에 대한 호출 저장: 서버에 대한 지속적인 쿼리를 피함으로써 웹 애플리케이션의 효율성이 향상되고 대기 시간이 줄어듭니다.

• 개인정보 보호: 데이터가 기기에 남아 있어 외부 서버로 전송할 필요가 없어 보안이 한층 강화됩니다.

• 오프라인 사용: 모델을 다운로드하면 기기에서 모델을 사용할 수 있어 인터넷 연결 없이도 사용할 수 있습니다.

하이브리드 아키텍처

로컬 모델이 효율적이기는 하지만 서버를 완전히 버릴 수는 없습니다. 이는 더 복잡한 작업을 처리하는 데 여전히 필요합니다. 핵심은 "최적의 지점", 즉 로컬 모델을 사용할 때와 서버에 의존할 때를 결정하는 최적의 지점을 찾는 것입니다.

또한 통합 모델은 서버 장애나 인터넷 연결 부족 시 백업 역할을 할 수 있습니다.

제한사항

작은 모델이고 브라우저에서 실행되도록 최적화되어 있기 때문에 용량이 더 제한되어 있습니다. 현재로서는 번역, 요약 또는 텍스트 개선과 같은 특정 작업에 사용하는 것이 좋습니다. 이러한 유형의 모델은 특정 작업에 더 효율적이기 때문에 "전문가 모델"이라고 합니다.

실험 프로그램에 참여하세요

이 API를 사용해 보고 싶다면 이 링크의 양식을 작성하여 실험 프로그램에 참여할 수 있습니다. API 업데이트 및 변경 사항에 대한 최신 정보를 얻을 수 있는 문서와 Google 그룹에 액세스할 수 있습니다.

다음 게시물에서 이 API와 사용 가능한 기능을 사용하는 방법을 알아보세요.

위 내용은 Chrome API를 사용한 로컬 AI의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!