AI는 미래입니다. 소프트웨어 엔지니어로서 가장 관심을 갖고 있는 분야입니다. 코드에서 LLM을 활용하면 실시간 감정 분석이나 사용자 생성 콘텐츠 해석과 같은 복잡한 작업을 처리하는 더 스마트한 애플리케이션을 구축할 수 있습니다. LLM을 통합하면 소프트웨어의 반응성과 성능이 향상되어 사용자 경험이 향상되고 자동화됩니다.
이 게시물은 이러한 강력한 기능을 자신의 코드에 추가할 수 있도록 Python을 사용하여 LLM 호출을 수행하는 방법을 소개합니다.
먼저 원하는 캐릭터를 위한 챗봇을 만들어 보겠습니다. 그런 다음 작은 텍스트를 요약하는 방법을 배우고 책 전체를 요약하는 방법까지 배우게 됩니다. 마지막으로 LLM에서 제공한 결과를 다시 요청하고 분석하는 방법을 배우게 됩니다.
LLM 요청에는 Groq를 사용할 예정입니다. 거기에 계정을 만들면 해당 API를 사용하고 무료로 LLM 요청을 할 수 있습니다.
이러한 요청에 Python을 사용하려면 pip install groq를 실행하여 Groq python 패키지를 설치하세요. 그런 다음 다음과 같이 코드에서 이를 가져옵니다.
import os
from groq import Groq
client = Groq(
api_key=os.environ.get("GROQ_API_KEY"),
)
API 키를 환경변수로 꼭 설정해주세요.
다음을 추가하여 간단한 LLM 요청을 할 수 있습니다.
chat_completion = client.chat.completions.create(
messages=[
{
"role": "user",
"content": "Explain formula 1.",
}
],
model="llama3-8b-8192",
)
print(chat_completion.choices[0].message.content)
이 경우 LLM에게 공식 1이 무엇인지 설명해 달라고 요청합니다. 콘솔에서 프로그램을 실행하면 llama3-8b의 출력이 인쇄되어야 합니다. 이를 가지고 놀면서 모델과 프롬프트를 전환할 수 있습니다.
이제 마리오 등 좋아하는 캐릭터에 대한 챗봇을 만들어 보겠습니다. 현재 LLM은 중립적이고 유익한 어조로 응답합니다. 그러나 LLM에 시스템 역할을 부여함으로써 LLM이 Mario처럼 응답하도록 하여 대화에 개성과 재미를 더할 수 있습니다. 이는 상호 작용의 분위기를 설정하므로 "나야, 마리오!"와 같은 재미있고 상징적인 반응을 얻을 수 있습니다. 흥미를 유지하기 위한 것입니다.
요청에 시스템 역할을 추가해 보겠습니다.
chat_completion = client.chat.completions.create(
messages=[
{
"role": "system",
"content": "You are a super mario chatbot. Always answer in his style, and create witty responses."
},
{
"role": "user",
"content": "Explain formula 1.",
}
],
model="llama3-8b-8192",
)
print(chat_completion.choices[0].message.content)
이제 LLM이 마리오 카트 측면에서 Formula 1이 무엇인지 설명하겠습니다!
시스템 역할은 가상 고객 지원 상담원, 교육 교사, 창의적 글쓰기 도우미 등 다른 사용 사례에도 적합하므로 LLM이 각 역할의 특정 분위기와 요구 사항에 맞는 방식으로 응답하도록 합니다.
이제 특정 프롬프트 및 시스템 역할로 LLM을 요청하는 방법을 조금 알았으니 요약 도구를 만들어 보겠습니다.
동일한 디렉토리에 article.txt라는 텍스트 파일을 생성하고 원하는 기사를 붙여넣습니다. 이 단계에서는 기사가 너무 길지 않은지 확인하세요.
코드에서 먼저 해당 텍스트를 로드해 보겠습니다.
import os
from groq import Groq
client = Groq(
api_key=os.environ.get("GROQ_API_KEY"),
)
이제 LLM에 보낼 수 있는 프롬프트를 만들어 글머리 기호로 텍스트를 요약하도록 지시해 보겠습니다.
chat_completion = client.chat.completions.create(
messages=[
{
"role": "user",
"content": "Explain formula 1.",
}
],
model="llama3-8b-8192",
)
print(chat_completion.choices[0].message.content)
먼저 프롬프트를 작성하여 LLM에게 명확하고 간결한 지침을 제공합니다. 그런 다음 요약해야 할 텍스트를 제공합니다.
이제 우리가 해야 할 일은 방금 만든 프롬프트로 LLM에 전화하는 것뿐입니다.
chat_completion = client.chat.completions.create(
messages=[
{
"role": "system",
"content": "You are a super mario chatbot. Always answer in his style, and create witty responses."
},
{
"role": "user",
"content": "Explain formula 1.",
}
],
model="llama3-8b-8192",
)
print(chat_completion.choices[0].message.content)
이것을 실행하면 LLM에 제공한 기사의 주요 항목 요약을 볼 수 있습니다!
이제 프란츠 카프카의 『변신』과 같이 매우 긴 기사나 책 전체를 붙여넣어 보세요.
LLM이 오류와 함께 돌아옵니다. 한꺼번에 요약하기엔 너무 많이 주셨네요.
LLM의 컨텍스트 창은 단일 호출에서 처리하고 기억할 수 있는 텍스트의 양을 나타냅니다. 즉, 기사를 한 번에 요약하는 데는 좋지만 텍스트가 수용하고 일관된 반응을 이끌어내는 용량을 초과하기 때문에 책 전체를 한 번에 처리할 수는 없습니다.
그럼 이 문제를 어떻게 해결할 수 있을까요? 우리는 책을 '청크'함으로써 그렇게 할 수 있습니다. 우리는 책을 LLM이 관리할 수 있는 '덩어리'로 나누고 이를 요약하도록 지시합니다. 그런 다음 각 청크에 대한 요약이 있으면 해당 요약을 하나의 일관된 요약으로 요약할 수 있습니다.
다음과 같이 문자열을 여러 개의 덩어리로 나눌 수 있습니다(반드시 textwrap을 가져와야 합니다).
with open('article.txt', 'r') as file:
content = file.read()
나중에 너비를 변경할 수 있으며 원하는 것을 확인하여 최상의 결과를 얻을 수 있습니다.
이제 모든 청크가 있으므로 각각을 요약하고 Answers라는 변수에 응답을 저장해 보겠습니다.
prompt = f"""
Summarize the following text in bullet points for easy reading.
Text:
{content}
"""
이 코드를 실행하고 답변을 인쇄하면 생성된 각 '청크'/섹션에 대한 글머리 기호 요약이 포함된 긴 문자열이 표시됩니다.
이제 LLM을 한 번 더 사용하여 모든 섹션 요약을 사용하여 하나의 일관된 요약을 만들기만 하면 됩니다.
chat_completion = client.chat.completions.create(
messages=[
{
"role": "user",
"content": prompt,
}
],
model="llama3-8b-8192",
)
print(chat_completion.choices[0].message.content)
이제 코드를 실행하면 책 전체에 대한 요약이 하나 표시됩니다! 정말 놀랍죠?
참고: 책의 크기에 따라 여러 번 '청크'해야 하거나 LLM에 더 짧은 응답을 제공하도록 지시해야 할 수도 있습니다. '청크' 요약이 너무 많으면 최종 요약 프롬프트가 여전히 너무 클 수 있습니다.
예를 들어 LLM에 글머리 기호로 응답하라고 지시했지만 LLM이 항상 동일한 응답을 제공하는 것은 아니라는 점을 눈치채셨을 것입니다. 때로는 헤더나 약간의 설명을 추가할 수도 있습니다. 때로는 글머리 기호만 제공할 수도 있습니다.
프로그래머로서 때로는 결과를 처리하기 어려울 수도 있습니다. LLM이 특정 형식으로 보다 일관된 답변을 제공하도록 하려면 어떻게 해야 합니까?
감정 분석 도구를 만들어 보겠습니다. LLM에 슬픈 이야기를 제공하고 -1부터 1까지의 감정 점수를 제시하도록 지시합니다.
그렇습니다:
import os
from groq import Groq
client = Groq(
api_key=os.environ.get("GROQ_API_KEY"),
)
이것을 여러 번 실행해 보면 응답이 항상 우리가 지정한 형식이 아니라는 것을 알 수 있습니다. 그러나 해당 형식을 사용하여 숫자를 추출하고 추가 계산을 수행하려는 경우 실망스럽습니다. 잘못 처리하면 프로그램이 중단될 수 있습니다.
재요청은 LLM에 제공된 입력을 조정하고 개선하여 원하는 응답이나 형식으로 안내하는 프로세스입니다. 출력이 "감정: 0.5"로 필요한 감정 도구의 형식을 검증하려면 프롬프트를 조정하여 정확한 형식으로 감정 점수만 반환하도록 모델에 명확하게 지시하여 LLM에 다시 프롬프트를 표시하여 일관성을 보장할 수 있습니다. 응답합니다.
정규식을 사용하여 예상 형식이 제공되었는지 확인하는 함수를 만들 수 있습니다(그래서 정규식을 가져와야 합니다).
chat_completion = client.chat.completions.create(
messages=[
{
"role": "user",
"content": "Explain formula 1.",
}
],
model="llama3-8b-8192",
)
print(chat_completion.choices[0].message.content)
이제 LLM으로부터 응답을 받은 후 해당 함수를 호출할 수 있습니다. 함수가 true를 반환하면 형식이 올바른 것입니다. false가 반환되면 LLM에 다시 메시지를 표시하고 다시 시도해야 한다는 것을 알 수 있습니다.
chat_completion = client.chat.completions.create(
messages=[
{
"role": "system",
"content": "You are a super mario chatbot. Always answer in his style, and create witty responses."
},
{
"role": "user",
"content": "Explain formula 1.",
}
],
model="llama3-8b-8192",
)
print(chat_completion.choices[0].message.content)
물론 이는 매우 기본적인 재요청입니다. LLM은 이 두 번째 LLM 호출에서 여전히 잘못된 형식을 제공할 수 있습니다. 그러나 이제 일관적인 형식의 응답을 사용하면 훨씬 더 높은 성공률을 얻을 수 있습니다.
이러한 도구와 기술을 사용하면 이제 LLM을 Python 코드에 통합하고 출력을 효과적으로 검증할 수 있습니다. 궁금한 점은 댓글로 남겨주세요!
전체 코드를 보시려면 Github 저장소를 방문해 주세요.
P.S: 제가 SCU ACM 챕터에서 진행했던 워크숍의 블로그 포스트 버전입니다.
위 내용은 Python으로 생성 AI 활용의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
