개발에 오픈소스 AI 모델 사용

지난해에는 이미지 생성이든 챗봇이든, 거대하고 전문적인 실행 도구로 확장하는 등 사용자의 삶을 편리하게 해주는 인공지능이 탑재된 수많은 도구가 등장했습니다. 프로세스입니다.

저는 chatgpt, gemini, dall-e 또는 midjourney에서 이러한 많은 도구를 연구하고 배우고 테스트해 왔습니다. 모두 매우 잘 작동하지만 이러한 도구를 사용하여 애플리케이션을 확장하려고 할 때 해당 도구에 유용한 도구가 없다는 것을 알게 되었습니다. 무료 또는 공개 대체 소스.

이를 통해 저는 연구를 한 단계 더 발전시킬 수 있었고 안정적인 확산 UI(이미지 생성, https://github.com/AUTOMATIC1111/stable-diffusion-webui)를 접하게 되었습니다. ollama *(Chatbot, https://ollama.com/), 둘 다 서비스를 API로 실행하여 모든 애플리케이션에서 사용할 수 있는 오픈 소스 도구입니다. 저는 오픈 소스 대안으로 더 나아가지만 이것이 작동하려면 애플리케이션에서 사용할 수 있도록 이러한 도구를 계속 실행해야 합니다.

이 기능을 애플리케이션에 적용하는 방법을 이해하려면 이러한 도구의 작동 방식을 이해하는 것이 중요합니다. 기본적으로 이 도구가 수행하는 작업은 LLM 또는 대규모 언어 모델인 "safetensors" 확장자가 있는 파일을 사용하는 것입니다. 이러한 모델은 수행하도록 훈련되었습니다. 훈련하는 사람의 필요에 따라 기능이 다릅니다. (예: 이미지 생성, 번역, 코드 개발, 챗봇 등)

LLM 모델과 "safetensors" 파일에 대해 조금 이해하면 다음과 같은 질문을 얻게 됩니다. 내 애플리케이션에서 이 파일을 어떻게 사용하는지, 이것이 바로 오픈 소스 인공 지능의 웹사이트/데이터베이스인 HugginFace가 등장하는 이유입니다. 그리고 그들은 우리가 원하는 "Transformers" 및 "Diffusers"에 대한 2개의 매우 유용한 구성 요소를 포함하는 Python용 자체 라이브러리를 만들었습니다.

*Transformers *(https://huggingface.co/docs/transformers/index)는 오디오를 텍스트로 또는 그 반대로 변환하는 등 특수한 텍스트 모델을 사용할 수 있게 해주는 구성 요소입니다. 무엇보다도 메타 불꽃으로서의 채팅박스.

수입변압기

import torch

model_id = "meta-llama/Llama-3.1-8B"

pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)

pipeline("Hey how are you doing today?")

디퓨저(https://huggingface.co/docs/diffusers/index)는 안정적인 확산 등 이미지 생성에 특화된 모든 모델을 소비할 수 있게 해주는 구성요소입니다.

from diffusers import AutoPipelineForText2Image
import torch

pipe = AutoPipelineForText2Image.from_pretrained("stabilityai/sdxl-turbo", torch_dtype=torch.float16, variant="fp16")
pipe.to("cuda")

prompt = "A cinematic shot of a baby racoon wearing an intricate italian priest robe."

image = pipe(prompt=prompt, num_inference_steps=1, guidance_scale=0.0).images[0]

이 프로세스를 LLM 모델 추론이라고 하며 여기에서 이 정보를 기반으로 Python을 사용하여 다양한 애플리케이션에 인공 지능을 적용할 수 있습니다.

또한 nodejs와 같은 다른 언어로 모델 추론을 사용하려고 시도했지만 실제로는 Python만큼 잘 작동하지 않는다는 점에 유의해야 하지만 LLM에는 강력한 하드웨어가 필요하다는 점을 언급하는 것이 중요합니다. ChatGPT 또는 Gemini API를 사용하여 적절한 하드웨어 구매에 지출할 수 있는 비용을 절약할 수 있도록 추론을 모델화합니다.

이 글은 첫 번째 글입니다. 소프트웨어 개발에서 LLM 모델을 사용하는 과정이 이 과정의 단계를 건너뛰는 데 도움이 되기를 바랍니다.

위 내용은 개발에 오픈소스 AI 모델 사용의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!