사용자 브라우저에서 로컬로 AI 실행

우리 모두 AI가 얼마나 뛰어난지 알고 있지만, 여전히 두 가지 큰 문제가 있습니다. 데이터 개인정보 보호 및 비용.

현재 AI를 활용하는 모든 애플리케이션은 클라우드 API로 연결되어 있습니다. 이러한 API는 프롬프트와 컨텍스트를 기록하며 경우에 따라 해당 데이터를 사용하여 모델을 교육합니다. 즉, 여기에 포함된 모든 민감한 데이터가 잠재적으로 노출될 수 있음을 의미합니다.

대부분의 웹 애플리케이션은 다음 스키마를 사용하여 AI 기능을 통합합니다.

여기서 문제는 애플리케이션 서버가 사용자 데이터를 타사 API인 AI API로 보내야 하는데 사용자 데이터에 어떤 일이 일어날지 실제로 알 수 없다는 것입니다.

그렇다면 클라우드가 아닌 사용자 기기에서 AI를 처리하면 어떨까요? 나는 놀라운 결과를 가지고 몇 주 동안 테스트해 왔습니다. 저는 3가지 주요 장점을 발견했습니다:

1. 사용자 데이터는 절대로 제3자에게 전송되지 않습니다. 항상 사용자 기기에 남아있습니다.
2. 앱 개발자에게는 무료이며, 사용자 기기에서 직접 발생하기 때문에 사용자 추론에 대해 비용을 지불할 필요가 없습니다.
3. 모든 신규 사용자가 자신만의 컴퓨팅 능력을 가져오기 때문에 확장성은 무제한입니다.

AI 계산을 사용자에게 오프로드할 때 이전 스키마가 어떻게 변경되는지 간단히 살펴보겠습니다.

아주 간단한 개념입니다. 사용자는 언제나처럼 We 애플리케이션을 사용하지만, AI 계산을 수행해야 하는 작업이 있는 경우 타사 API를 사용하는 대신 이를 사용자에게 보내면 해당 장치가 가장 안전한 방식으로 해당 계산을 수행합니다. 현지에서.

이것은 꿈이 아니라 이미 완벽하게 작동하고 있습니다. 코드 몇 줄만 바꾸면 누구나 쉽게 이 아키텍처를 사용할 수 있도록 오프로드라는 플랫폼을 만들었습니다. . SDK는 사용자 장치에 맞는 모델을 다운로드하는 것부터 프롬프트를 관리하고 로컬에서 프롬프트 응답을 평가하는 데 도움을 주고 사용자 데이터를 노출하지 않고 평가 결과를 다시 보내는 등 모든 것을 뒤에서 처리합니다. 단일 함수 호출로 모든 것이 투명하게 작동합니다.

비록 취미 프로젝트일지라도 이것으로 이익을 얻을 수 있는 웹 개발자를 찾고 있으니, 이 접근 방식이 마음에 드신다면 저에게 연락주세요! 귀하의 애플리케이션에서 이를 설정하는 데 도움을 드리고 싶습니다. 몇 분 안에 마이그레이션하는 것이 실제로 매우 간단하다는 것을 알게 될 것입니다.

애플리케이션에 오프로드 통합

위 내용은 사용자 브라우저에서 로컬로 AI 실행의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!