기술 주변기기 일체 포함 고객 개인 정보를 보호하려면 Ruby를 사용하여 로컬에서 오픈 소스 AI 모델을 실행하세요.

고객 개인 정보를 보호하려면 Ruby를 사용하여 로컬에서 오픈 소스 AI 모델을 실행하세요.

Mar 18, 2024 pm 09:40 PM
일체 포함 안전 민감한 데이터

역자 | Chen Jun

Reviewer | Chonglou

최근 맞춤형 인공지능(AI) 프로젝트를 구현했습니다. 당사자 A는 매우 민감한 고객 정보를 보유하고 있으므로 보안상의 이유로 해당 정보를 OpenAI 또는 기타 독점 모델에 전달할 수 없습니다. 따라서 우리는 AWS 가상 머신에서 오픈 소스 AI 모델을 다운로드하고 실행하여 완전히 우리의 통제하에 두었습니다. 동시에 Rails 애플리케이션은 안전한 환경에서 AI에 API 호출을 할 수 있습니다. 물론 보안 문제를 고려할 필요가 없다면 OpenAI와 직접 협력하는 것이 좋습니다.

고객 개인 정보를 보호하려면 Ruby를 사용하여 로컬에서 오픈 소스 AI 모델을 실행하세요.

아래에서는 오픈 소스 AI 모델을 로컬로 다운로드하여 실행하는 방법과 이에 대해 Ruby 스크립트를 실행하는 방법을 공유하겠습니다.

왜 맞춤설정해야 하나요?

이 프로젝트의 동기는 간단합니다: 데이터 보안입니다. 민감한 고객 정보를 처리할 때 가장 신뢰할 수 있는 접근 방식은 일반적으로 회사 내에서 처리하는 것입니다. 따라서 더 높은 수준의 보안 통제와 개인정보 보호를 제공하는 역할을 하려면 맞춤형 AI 모델이 필요합니다.

오픈 소스 모델

지난 6개월 동안 다음과 같은 새로운 제품이 시장에 출시되었습니다. Mistral, Mixtral 그리고 Lamaetc. 다수의 오픈 소스 AI 모델. GPT-4만큼 강력하지는 않지만 대부분의 성능은 GPT-3.5을 초과했으며 시간이 지남에 따라 점점 더 강력해질 것입니다. 물론 어떤 모델을 선택하느냐는 전적으로 처리 능력과 달성해야 할 목표에 따라 달라집니다.

AI 모델을 로컬에서 실행할 예정이므로 약 4GBMistral을 선택했습니다. 대부분의 지표에서 GPT-3.5보다 성능이 뛰어납니다. MixtralMistral보다 성능이 뛰어나긴 하지만 실행하려면 최소 48GB 메모리가 필요한 부피가 큰 모델입니다.

Parameters

대형 언어 모델(LLM)에 관해 이야기할 때 우리는 해당 매개변수 크기를 언급하는 것을 고려하는 경향이 있습니다. 여기서 로컬에서 실행할 Mistral 모델은 70억 개의 매개변수 모델입니다(물론 Mixtral에는 700개의 매개변수가 있고 GPT-3.5 1750십억 매개변수).

일반적으로 대규모 언어 모델은 신경망 기반 기술을 사용합니다. 신경망은 뉴런으로 구성되며, 각 뉴런은 다음 계층의 다른 모든 뉴런과 연결됩니다.

고객 개인 정보를 보호하려면 Ruby를 사용하여 로컬에서 오픈 소스 AI 모델을 실행하세요.

위 그림과 같이 각 연결에는 가중치가 있으며 일반적으로 백분율로 표시됩니다. 각 뉴런에는 또한 노드를 통과할 때 데이터를 수정하는 편향이 있습니다.

신경망의 목적은 고급 알고리즘인 패턴 매칭 알고리즘을 "학습"하는 것입니다. 많은 양의 텍스트에 대한 훈련을 통해 점차적으로 텍스트 패턴을 예측하고 우리가 제공하는 단서에 의미 있게 반응하는 능력을 배울 것입니다. 간단히 말해서, 매개변수는 모델의 가중치와 편향의 수입니다. 이는 신경망에 얼마나 많은 뉴런이 있는지에 대한 아이디어를 제공합니다. 예를 들어,

70억 개의 매개변수 모델에는 약 100개의 레이어가 있으며 각 레이어에는 수천 개의 뉴런이 있습니다. 로컬에서 모델 실행

오픈 소스 모델을 로컬에서 실행하려면 먼저 관련 애플리케이션을 다운로드해야 합니다. 시중에는 다양한 옵션이 있지만 Intel

Mac

에서 실행하기 가장 쉽고 쉬운 옵션은 Ollama입니다.

Ollama

은 현재 MacLinux에서만 실행되지만 앞으로는 Windows에서도 실행될 예정입니다. 물론 Windows에서 WSL(Linux용 Windows 하위 시스템)을 사용하여 Linux 셸을 실행할 수 있습니다.

Ollama 다양한 오픈 소스 모델을 다운로드하고 실행할 수 있을 뿐만 아니라 로컬 포트에서 모델을 열어 Ruby 코드를 통해 API 호출을 할 수 있습니다. 이를 통해 Ruby 개발자가 로컬 모델과 통합할 수 있는 Ruby 애플리케이션을 쉽게 작성할 수 있습니다. Ollama는 주로 명령 줄 기반이므로

폴라마를 얻으십시오. https://www.php.cn/link/04c7f37f2420f0532d7f0e062ff2d5b5

링크를 통해 Ollama를 다운로드하고

5분 정도 시간을 들여 소프트웨어 패키지를 설치한 다음 모델을 실행하면 됩니다. 첫 번째 모델 설치Ollama를 설정하고 실행하면 브라우저 작업 표시줄에 Ollama 아이콘이 표시됩니다. 이는 백그라운드에서 실행 중이며 모델을 실행할 수 있음을 의미합니다. 모델을 다운로드하려면 터미널을 열고 다음 명령을 실행하면 됩니다.

고객 개인 정보를 보호하려면 Ruby를 사용하여 로컬에서 오픈 소스 AI 모델을 실행하세요.

ollama run mistral
로그인 후 복사

Mistral의 크기는 약

4GB

이므로 시간이 좀 걸립니다. 다운로드를 완료하려면 다운로드가 완료되면 Mistral

과 상호 작용하고 통신할 수 있는 Ollama 프롬프트가 자동으로 열립니다.

다음번 Ollama를 통해 mistral을 실행하시면 해당 모델을 직접 실행하실 수 있습니다.

사용자 정의 모델고객 개인 정보를 보호하려면 Ruby를 사용하여 로컬에서 오픈 소스 AI 모델을 실행하세요.

OpenAI에서 사용자 정의 GPT

을 생성하는 방법과 유사하게 Ollama를 통해 기본 모델을 사용자 정의할 수 있습니다. 여기서는 간단하게 사용자 정의 모델을 만들 수 있습니다. 보다 자세한 사례는 Ollama 온라인 문서를 참고하시기 바랍니다.

먼저 Modelfile(모델 파일)을 생성하고 그 안에 다음 텍스트를 추가할 수 있습니다.

FROM mistral# Set the temperature set the randomness or creativity of the responsePARAMETER temperature 0.3# Set the system messageSYSTEM ”””You are an excerpt Ruby developer. You will be asked questions about the Ruby Programminglanguage. You will provide an explanation along with code examples.”””
로그인 후 복사
위에 나타나는 시스템 메시지는 AI의 특정 반응에 대한 기초입니다. 모델. 다음으로 터미널에서 다음 명령을 실행하여 새 모델을 만들 수 있습니다.

ollama create <model-name> -f './Modelfile</model-name>
로그인 후 복사
프로젝트의 경우 모델 이름을

Ruby로 지정했습니다.

ollama create ruby -f './Modelfile'
로그인 후 복사
동시에 다음 명령을 사용하여 기존 모델을 나열하고 표시할 수 있습니다.

ollama list
로그인 후 복사
이제 다음 명령을 사용하여 맞춤형 모델:

Ollama run ruby
로그인 후 복사

Ruby

Ollama에는 아직 전용 gem이 없지만 Ruby 개발자는 기본 HTTP 요청 방법을 사용하여 모델과 상호 작용할 수 있습니다. 백그라운드에서 실행 중인 Ollama는 11434 포트를 통해 모델을 열 수 있으므로 "https://www.php.cn/link/dcd3f83c96576c0fd437286a1ff6f1f0"을 통해 액세스할 수 있습니다. 또한 OllamaAPI 문서에서는 채팅 대화 및 삽입 생성과 같은 기본 명령에 대한 다양한 엔드포인트도 제공합니다.

이 프로젝트에서는 /api/chat 엔드포인트를 사용하여 AI 모델에 프롬프트를 보내려고 합니다. 아래 이미지는 모델과 상호 작용하기 위한 몇 가지 기본 Ruby 코드를 보여줍니다.

고객 개인 정보를 보호하려면 Ruby를 사용하여 로컬에서 오픈 소스 AI 모델을 실행하세요.

Ruby 코드 조각의 기능은 다음과 같습니다.

  1. 넷 /http", "uri" 및 "json" 세 개의 라이브러리는 각각 HTTP 요청을 실행하고, URI 구문 분석하고 JSON 데이터를 처리합니다.
  2. 엔드포인트 주소가 포함된 만들기(https://www.php.cn/link/dcd3f83c96576c0fd437286a1ff6f1f0/api/chat) URI 개체입니다.
  3. HTTP POST
  4. 요청을 생성하려면 URI를 매개변수로 사용하여 Net::HTTP::Post.new 메서드를 사용하세요. 요청 본문은 해시 값을 나타내는
  5. JSON
  6. 문자열로 설정됩니다. 해시에는 "모델", "메시지" 및 "스트림"이라는 세 가지 키가 포함되어 있습니다. 그 중
  7. 모델 키는 우리 모델인 "
    ruby
  1. "로 설정되어 있으며, 메시지 키는 단일 배열로 설정되어 있습니다. ​​스트림 키가
  2. false
  3. 로 설정된 동안 해시 값을 나타냅니다.
  4. 시스템은 모델이 정보에 어떻게 반응하는지 안내합니다. 우리는 이미 Modelfile에 설정했습니다. 사용자 정보는 당사의 표준 프롬프트입니다.
  5. 모델이 보조 정보로 응답합니다.
  6. 메시지 해싱은 AI 모델과 교차하는 패턴을 따릅니다. 캐릭터와 콘텐츠가 함께 제공됩니다. 여기서 역할은 시스템, 사용자 및 보조일 수 있습니다. 그 중
  7. HTTP
    요청은
  1. Net::HTTP.start 메서드를 사용하여 전송됩니다. 이 메서드는 지정된 호스트 이름과 포트에 대한 네트워크 연결을 연 다음 요청을 보냅니다. 연결의 읽기 시간 제한은
  2. 120
  3. 초로 설정되어 있습니다. 결국 저는 2019 IntelMac을 실행 중이므로 응답이 약간 느릴 수 있습니다. 해당 AWS 서버에서 실행할 때는 문제가 되지 않습니다. 서버의 응답은 "response" 변수에 저장됩니다.
  4. 사례 요약위에서 언급한 것처럼 로컬 AI 모델 실행의 실제 가치는 기업이 민감한 데이터를 보유하고 이메일이나 문서와 같은 비정형 데이터를 처리하고 가치 있는 정형 정보를 추출하도록 지원하는 것입니다. . 우리가 참여한 프로젝트 사례에서는 고객관계관리(
CRM

) 시스템의 모든 고객 정보에 대한 모델 교육을 실시했습니다. 이를 통해 사용자는 수백 개의 기록을 살펴볼 필요 없이 고객에 대해 궁금한 사항을 질문할 수 있습니다.

번역자 소개

Julian Chen, 51CTO 커뮤니티 편집자는 10년 이상의 IT 프로젝트 구현 경험을 가지고 있으며, 내부 및 외부 자원과 위험을 통제하는 데 능숙하며 커뮤니케이션에 중점을 둡니다. 네트워크 및 정보 보안 지식과 경험.

원제:

Ruby

를 사용하여 로컬에서 오픈 소스 AI 모델을 실행하는 방법, 저자: Kane Hooper

위 내용은 고객 개인 정보를 보호하려면 Ruby를 사용하여 로컬에서 오픈 소스 AI 모델을 실행하세요.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

Bytedance Cutting, SVIP 슈퍼 멤버십 출시: 연간 연속 구독료 499위안, 다양한 AI 기능 제공 Bytedance Cutting, SVIP 슈퍼 멤버십 출시: 연간 연속 구독료 499위안, 다양한 AI 기능 제공 Jun 28, 2024 am 03:51 AM

이 사이트는 6월 27일에 Jianying이 ByteDance의 자회사인 FaceMeng Technology에서 개발한 비디오 편집 소프트웨어라고 보도했습니다. 이 소프트웨어는 Douyin 플랫폼을 기반으로 하며 기본적으로 플랫폼 사용자를 위한 짧은 비디오 콘텐츠를 제작합니다. Windows, MacOS 및 기타 운영 체제. Jianying은 멤버십 시스템 업그레이드를 공식 발표하고 지능형 번역, 지능형 하이라이트, 지능형 패키징, 디지털 인간 합성 등 다양한 AI 블랙 기술을 포함하는 새로운 SVIP를 출시했습니다. 가격면에서 SVIP 클리핑 월 요금은 79위안, 연간 요금은 599위안(본 사이트 참고: 월 49.9위안에 해당), 월간 연속 구독료는 월 59위안, 연간 연속 구독료는 59위안입니다. 연간 499위안(월 41.6위안)입니다. 또한, 컷 관계자는 "사용자 경험 향상을 위해 기존 VIP에 가입하신 분들도

Rag 및 Sem-Rag를 사용한 상황 증강 AI 코딩 도우미 Rag 및 Sem-Rag를 사용한 상황 증강 AI 코딩 도우미 Jun 10, 2024 am 11:08 AM

검색 강화 생성 및 의미론적 메모리를 AI 코딩 도우미에 통합하여 개발자 생산성, 효율성 및 정확성을 향상시킵니다. EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG에서 번역됨, 저자 JanakiramMSV. 기본 AI 프로그래밍 도우미는 자연스럽게 도움이 되지만, 소프트웨어 언어에 대한 일반적인 이해와 소프트웨어 작성의 가장 일반적인 패턴에 의존하기 때문에 가장 관련성이 높고 정확한 코드 제안을 제공하지 못하는 경우가 많습니다. 이러한 코딩 도우미가 생성한 코드는 자신이 해결해야 할 문제를 해결하는 데 적합하지만 개별 팀의 코딩 표준, 규칙 및 스타일을 따르지 않는 경우가 많습니다. 이로 인해 코드가 애플리케이션에 승인되기 위해 수정되거나 개선되어야 하는 제안이 나타나는 경우가 많습니다.

7가지 멋진 GenAI 및 LLM 기술 인터뷰 질문 7가지 멋진 GenAI 및 LLM 기술 인터뷰 질문 Jun 07, 2024 am 10:06 AM

AIGC에 대해 자세히 알아보려면 다음을 방문하세요. 51CTOAI.x 커뮤니티 https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou는 인터넷 어디에서나 볼 수 있는 전통적인 문제 은행과 다릅니다. 고정관념에서 벗어나 생각해야 합니다. LLM(대형 언어 모델)은 데이터 과학, 생성 인공 지능(GenAI) 및 인공 지능 분야에서 점점 더 중요해지고 있습니다. 이러한 복잡한 알고리즘은 인간의 기술을 향상시키고 많은 산업 분야에서 효율성과 혁신을 촉진하여 기업이 경쟁력을 유지하는 데 핵심이 됩니다. LLM은 자연어 처리, 텍스트 생성, 음성 인식 및 추천 시스템과 같은 분야에서 광범위하게 사용될 수 있습니다. LLM은 대량의 데이터로부터 학습하여 텍스트를 생성할 수 있습니다.

미세 조정을 통해 LLM이 실제로 새로운 것을 배울 수 있습니까? 새로운 지식을 도입하면 모델이 더 많은 환각을 생성할 수 있습니다. 미세 조정을 통해 LLM이 실제로 새로운 것을 배울 수 있습니까? 새로운 지식을 도입하면 모델이 더 많은 환각을 생성할 수 있습니다. Jun 11, 2024 pm 03:57 PM

LLM(대형 언어 모델)은 대규모 텍스트 데이터베이스에서 훈련되어 대량의 실제 지식을 습득합니다. 이 지식은 매개변수에 내장되어 필요할 때 사용할 수 있습니다. 이러한 모델에 대한 지식은 훈련이 끝나면 "구체화"됩니다. 사전 훈련이 끝나면 모델은 실제로 학습을 중단합니다. 모델을 정렬하거나 미세 조정하여 이 지식을 활용하고 사용자 질문에 보다 자연스럽게 응답하는 방법을 알아보세요. 그러나 때로는 모델 지식만으로는 충분하지 않을 때도 있으며, 모델이 RAG를 통해 외부 콘텐츠에 접근할 수 있더라도 미세 조정을 통해 모델을 새로운 도메인에 적응시키는 것이 유익한 것으로 간주됩니다. 이러한 미세 조정은 인간 주석 작성자 또는 기타 LLM 생성자의 입력을 사용하여 수행됩니다. 여기서 모델은 추가적인 실제 지식을 접하고 이를 통합합니다.

대형 모델에 대한 새로운 과학적이고 복잡한 질문 답변 벤치마크 및 평가 시스템을 제공하기 위해 UNSW, Argonne, University of Chicago 및 기타 기관이 공동으로 SciQAG 프레임워크를 출시했습니다. 대형 모델에 대한 새로운 과학적이고 복잡한 질문 답변 벤치마크 및 평가 시스템을 제공하기 위해 UNSW, Argonne, University of Chicago 및 기타 기관이 공동으로 SciQAG 프레임워크를 출시했습니다. Jul 25, 2024 am 06:42 AM

편집자 |ScienceAI 질문 응답(QA) 데이터 세트는 자연어 처리(NLP) 연구를 촉진하는 데 중요한 역할을 합니다. 고품질 QA 데이터 세트는 모델을 미세 조정하는 데 사용될 수 있을 뿐만 아니라 LLM(대형 언어 모델)의 기능, 특히 과학적 지식을 이해하고 추론하는 능력을 효과적으로 평가하는 데에도 사용할 수 있습니다. 현재 의학, 화학, 생물학 및 기타 분야를 포괄하는 과학적인 QA 데이터 세트가 많이 있지만 이러한 데이터 세트에는 여전히 몇 가지 단점이 있습니다. 첫째, 데이터 형식이 비교적 단순하고 대부분이 객관식 질문이므로 평가하기 쉽지만 모델의 답변 선택 범위가 제한되고 모델의 과학적 질문 답변 능력을 완전히 테스트할 수 없습니다. 이에 비해 개방형 Q&A는

SOTA 성능, 샤먼 다중 모드 단백질-리간드 친화성 예측 AI 방법, 최초로 분자 표면 정보 결합 SOTA 성능, 샤먼 다중 모드 단백질-리간드 친화성 예측 AI 방법, 최초로 분자 표면 정보 결합 Jul 17, 2024 pm 06:37 PM

Editor | KX 약물 연구 및 개발 분야에서 단백질과 리간드의 결합 친화도를 정확하고 효과적으로 예측하는 것은 약물 스크리닝 및 최적화에 매우 중요합니다. 그러나 현재 연구에서는 단백질-리간드 상호작용에서 분자 표면 정보의 중요한 역할을 고려하지 않습니다. 이를 기반으로 Xiamen University의 연구자들은 처음으로 단백질 표면, 3D 구조 및 서열에 대한 정보를 결합하고 교차 주의 메커니즘을 사용하여 다양한 양식 특징을 비교하는 새로운 다중 모드 특징 추출(MFE) 프레임워크를 제안했습니다. 조정. 실험 결과는 이 방법이 단백질-리간드 결합 친화도를 예측하는 데 있어 최첨단 성능을 달성한다는 것을 보여줍니다. 또한 절제 연구는 이 프레임워크 내에서 단백질 표면 정보와 다중 모드 기능 정렬의 효율성과 필요성을 보여줍니다. 관련 연구는 "S"로 시작된다

SK하이닉스가 8월 6일 12단 HBM3E, 321고 NAND 등 AI 관련 신제품을 선보인다. SK하이닉스가 8월 6일 12단 HBM3E, 321고 NAND 등 AI 관련 신제품을 선보인다. Aug 01, 2024 pm 09:40 PM

1일 본 사이트 소식에 따르면 SK하이닉스는 오늘(1일) 블로그 게시물을 통해 8월 6일부터 8일까지 미국 캘리포니아주 산타클라라에서 열리는 글로벌 반도체 메모리 서밋 FMS2024에 참가한다고 밝혔다. 많은 새로운 세대의 제품. 인공지능 기술에 대한 관심이 높아지고 있는 가운데, 이전에는 주로 NAND 공급업체를 대상으로 한 플래시 메모리 서밋(FlashMemorySummit)이었던 미래 메모리 및 스토리지 서밋(FutureMemoryandStorage) 소개를 올해는 미래 메모리 및 스토리지 서밋(FutureMemoryandStorage)으로 명칭을 변경했습니다. DRAM 및 스토리지 공급업체와 더 많은 플레이어를 초대하세요. SK하이닉스가 지난해 출시한 신제품

VSCode 프런트엔드 개발의 새로운 시대: 적극 권장되는 12가지 AI 코드 도우미 VSCode 프런트엔드 개발의 새로운 시대: 적극 권장되는 12가지 AI 코드 도우미 Jun 11, 2024 pm 07:47 PM

프런트엔드 개발 세계에서 VSCode는 강력한 기능과 풍부한 플러그인 생태계를 통해 수많은 개발자가 선택하는 도구가 되었습니다. 최근 몇 년 동안 인공지능 기술의 급속한 발전으로 VSCode의 AI 코드 도우미가 등장하여 개발자의 코딩 효율성이 크게 향상되었습니다. VSCode의 AI 코드 도우미는 비가 내린 후 버섯처럼 생겨나 개발자의 코딩 효율성을 크게 향상시켰습니다. 인공 지능 기술을 사용하여 코드를 지능적으로 분석하고 정확한 코드 완성, 자동 오류 수정, 문법 검사 및 기타 기능을 제공하여 코딩 과정에서 개발자의 오류와 지루한 수동 작업을 크게 줄입니다. 오늘은 여러분의 프로그래밍 여정에 도움이 될 VSCode 프런트엔드 개발 AI 코드 도우미 12명을 추천해 드리겠습니다.

See all articles