GPT 3.5를 미세 조정하는 방법 : AI의 잠금 해제 전위

OpenAi의 최신 언어 모델 인 GPT-3.5 Turbo는 대형 언어 모델 기능에서 주요 도약을 나타냅니다. GPT-3 모델 제품군을 기반으로하는 GPT-3.5 Turbo는 이전 버전보다 저렴하고 액세스 할 수있는 인간과 같은 텍스트를 생성 할 수 있습니다. 그러나 GPT-3.5 터보의 진정한 힘은 미세 조정이라는 프로세스를 통해 사용자 정의 할 수있는 능력에 있습니다. 미세 조정을 통해 개발자는 자체 데이터를 가져와 모델을 특정 사용 사례에 조정하고 전문화 된 작업의 성능을 크게 향상시킬 수 있습니다. 미세 조정으로 GPT-3.5 Turbo는 특정 좁은 응용 분야에서 GPT-4를 일치 시키거나 초과했습니다. 이 새로운 수준의 사용자 정의는 비즈니스와 개발자가 GPT-3.5 터보를 배포하여 맞춤형 고성능 AI 애플리케이션을 만들 수있는 잠재력을 해제합니다. GPT-3.5 Turbo와 올해 말 더 강력한 GPT-4에서 미세 조정을 이용할 수있게되면서 우리는 Applied AI의 새로운 시대의 커스에 서 있습니다.

. 왜 미세 조정 언어 모델인가? 미세 조정은 GPT-3.5 터보와 같은 대형 언어 모델을 최대한 활용하는 데 중요한 기술이되었습니다. 예를 들어 미세 조정 GPT-3에 대한 별도의 안내서가 있습니다. 미리 훈련 된 모델은 상자 밖에서 인간과 같은 텍스트를 생성 할 수 있지만 미세 조정을 통해 진정한 기능이 잠금 해제됩니다. 이 프로세스를 통해 개발자는 도메인 별 데이터에 대해 교육하여 모델을 사용자 정의 할 수 있으며,이를 범용 교육이 달성 할 수있는 것 이상의 전문 사용 사례에 적응할 수 있습니다. 미세 조정은 틈새 애플리케이션의 모델의 관련성, 정확성 및 성능을 향상시킵니다. 특정 사용 사례에 대한 사용자 정의 미세 조정을 통해 개발자는 모델을 사용자 정의하여 독특하고 차별화 된 경험을 만들어 특정 요구 사항 및 도메인을 수용 할 수 있습니다. 도메인 별 데이터에 대한 모델을 교육함으로써 해당 틈새 시장에 대해보다 관련성 있고 정확한 출력을 생성 할 수 있습니다. 이 수준의 커스터마이징은 비즈니스가 맞춤형 AI 응용 프로그램을 구축 할 수 있습니다. 개선 된 조향성 및 신뢰성 미세 조정은 지침을 따르고 신뢰할 수 있고 일관된 출력 형식을 생성하는 모델의 능력을 향상시킵니다. 형식화 된 데이터에 대한 교육을 통해이 모델은 원하는 구조와 스타일을 배우고 조향성을 향상시킵니다. 이로 인해보다 예측 가능하고 제어 가능한 출력이 발생합니다 향상된 성능

미세 조정은 모델 성능을 크게 향상시켜 미세 조정 된 GPT-3.5 터보가 특정 특수 작업에서 GPT-4 기능을 일치 시키거나 초과 할 수 있습니다. 좁은 도메인의 모델을 최적화함으로써 일반 모델과 비교하여 틈새 문제 공간에서 우수한 결과를 얻습니다. 미세 조정의 성능 리프트는 상당합니다.

12 GPT-4 오픈 소스 대안에 대한 가이드를 확인하십시오.이 가이드는 비슷한 성능을 제공 할 수 있고 실행하려면 컴퓨팅 리소스가 적을 수있는 일부 도구를 탐색합니다. 미세 조정 gpt 3.5-turbo 의 영향 OpenAI가 수행 한 베타 테스트에서 모델을 미세 조정 한 고객은 다양한 표준 응용 프로그램의 성능이 눈에 띄게 향상되었습니다. 다음은 몇 가지 주요 테이크 아웃입니다 :

1. 향상된 직접성 미세 조정을 통해 회사는 특정 지침을 준수하기 위해 모델을 더 잘 안내 할 수 있습니다. 예를 들어, 회사가 간결한 응답을 원하거나 항상 특정 언어로 답장하기 위해 모델이 필요한 경우 미세 조정이이를 달성하는 데 도움이 될 수 있습니다. 전형적인 예는 개발자가 요청할 때마다 독일어로 일관되게 답장하기 위해 모델을 조정할 수 있다는 것입니다.

2. 일관된 응답 구조화 미세 조정의 눈에 띄는 이점 중 하나는 모델의 출력을보다 균일하게 만드는 능력입니다. 이는 코드 제안 또는 API 상호 작용과 같은 특정 응답 구조가 필요한 작업에 특히 유용합니다. 예를 들어, 미세 조정을 통해 개발자는 모델을 신뢰하여 사용자 쿼리를 시스템과 호환되는 품질 JSON 형식으로 변환 할 수 있습니다.

3. 개인화 된 톤

미세 조정을 사용하여 회사의 고유 한 목소리 나 스타일과 모델의 응답을보다 면밀히 맞추기 위해 사용될 수 있습니다. 독특한 브랜드 음성을 가진 회사는이 기능을 활용하여 모델의 톤이 브랜드의 본질과 일치하도록 할 수 있습니다. 미세 조정을위한 전제 조건

미세 조정을 통해 자체 데이터에 대한 교육 프로세스를 계속하여 GPT-3.5 터보와 같은 미리 훈련 된 언어 모델을 사용자 정의 할 수 있습니다. 이것은 모델을 특정 사용 사례에 적응시키고 성능을 크게 향상시킵니다.

. 미세 조정을 시작하려면 먼저 OpenAI API에 액세스해야합니다. OpenAI 웹 사이트에 가입 한 후 API 및 모델과 상호 작용할 수있는 API 키를 얻을 수 있습니다. 다음은 미세 조정을 위해 데이터 세트를 준비해야합니다. 여기에는 텍스트 프롬프트 및 원하는 모델 응답의 예제를 치료하는 것이 포함됩니다. 데이터는 응용 프로그램이 모델을 사용하는 형식과 일치해야합니다. 필요한 JSONL 구조로 데이터를 청소하고 서식하는 것도 중요합니다.

Openai CLI는 교육 데이터를 검증하고 전처리하는 데 유용한 도구를 제공합니다. 일단 검증되면 OpenAI 서버에 데이터를 업로드 할 수 있습니다.

마지막으로, 당신은 API를 통해 미세 조정 작업을 시작하여 기본 gpt-3.5 를 선택합니다. 터보 모델과 교육 데이터 파일 전달. 미세 조정 프로세스는 데이터 크기에 따라 몇 시간 또는 며칠이 걸릴 수 있습니다. API를 통해 교육 진행 상황을 모니터링 할 수 있습니다 Openai GPT 3.5 터보 모델을 미세 조정하는 방법 : 단계별 안내서 OpenAi는 최근 미세 조정 언어 모델을위한 UI 인터페이스를 출시했습니다. 이 튜토리얼에서는 OpenAI UI를 사용하여 미세 조정 된 GPT 모델을 만듭니다. 이 부분을 따라 가려면 OpenAI 계정과 키가 있어야합니다.

1. Platform.openai.com 에 로그인하십시오

2. 데이터를 준비하십시오

데모를 위해, 나는 질문 답변의 작은 데이터 세트를 기획했으며, 현재 Pandas Dataframe으로 저장되어 있습니다.

내가 한 일을 보여주기 위해 셰익스피어 스타일로 50 개의 기계 학습 질문과 답변을 만들었습니다. 이 미세 조정 작업을 통해 저는 GPT3.5-Turbo 모델의 스타일과 톤을 개인화하고 있습니다. 매우 실용적인 사용 사례는 아니지만 단순히 "셰익스피어 스타일로 답변"을 추가 할 수 있으므로 GPT3.5는 확실히 셰익스피어를 알고 필요한 톤으로 답을 생성 할 것입니다.

. OpenAi의 경우 데이터는 JSONL 형식이어야합니다. JSONL은 각 라인이 NewLines로 분리 된 유효한 JSON 객체 인 형식입니다. Pd.DataFrame을 JSONL로 변환하는 간단한 코드를 작성했습니다.

이것은 내 JSONL 파일의 모습입니다

3. 미세 조정 작업을 만듭니다 Platform.openai.com으로 가서 상단 메뉴에서 미세 조정으로 이동하여 새 생성을 클릭하십시오.

기본 모델을 선택하십시오. 현재 미세 조정을위한 3 개의 모델 만 사용할 수 있습니다 (Babbage-002, Davinci-002, GPT-3.5-Turbo-0613). 다음, JSONL 파일을 업로드하고 작업 이름을 밝히고 작성을 클릭하십시오. 튜닝 작업은 데이터 세트의 크기에 따라 몇 시간 또는 며칠이 걸릴 수 있습니다. 내 예에서, 데이터 세트에는 5,500 개의 토큰 만 있었고 미세 조정에 6 시간 이상이 걸렸습니다. 이 직업의 비용은 중요하지 않았습니다 (& lt; $ 1 = 5,500/1000 x $ 0.08). 이 자습서는 UI를 사용하여 GPT 모델을 미세 조정하는 방법을 보여줍니다. API를 사용하여 동일한 것을 달성하는 방법을 배우려면 DataCamp에서 Zoumana Keita의 OpenAI API 및 Python 튜토리얼을 사용하여 미세 조정 GPT-3을 확인하십시오.

4. 미세 조정 된 모델

를 사용합니다 튜닝 작업이 완료되면 이제 API를 통해 미세 조정 된 모델을 사용하거나 Platform.openai.com에서 사용할 수있는 놀이터를 사용할 수 있습니다.

import json
import pandas as pd

DEFAULT_SYSTEM_PROMPT = 'You are a teaching assistant for Machine Learning. You should help the user to answer his question.'

def create_dataset(question, answer):
    return {
        "messages": [
            {"role": "system", "content": DEFAULT_SYSTEM_PROMPT},
            {"role": "user", "content": question},
            {"role": "assistant", "content": answer},
        ]
    }

if __name__ == "__main__":
    df = pd.read_csv("path/to/file.csv", encoding='cp1252')
    with open("train.jsonl", "w") as f:
        for _, row in df.iterrows():
            example_str = json.dumps(create_dataset(row["Question"], row["Answer"]))
            f.write(example_str + "\n")

모델 드롭 다운 하에서 이제는 선택할 수있는 개인 3.5 터보가 있습니다. 시도해 봅시다.

응답의 어조와 스타일을 확인하십시오 Openai Python 패키지로 작업하는 방법을 배우려면 프로그래밍 방식으로 Chatgpt와 대화를 나누는 방법을 배우려면 DataCamp의 Python 블로그에서 Openai API를 통해 GPT-3.5 및 GPT-4를 사용하여 확인하십시오. 안전 및 프라이버시

OpenAi는 안전을 심각하게 받아들이고 테스트, 전문가 피드백, 모델 행동 및 모니터링 시스템을 포함한 기술을 포함한 새로운 모델을 출시하기 전에 엄격한 프로세스를 가지고 있습니다. 그들은 강력한 AI 시스템을 유익하고 예측 가능한 위험을 최소화하는 것을 목표로합니다. 미세 조정을 통해 중요한 안전 기능을 보존하면서 GPT-3.5 터보와 같은 모델을 사용자 정의 할 수 있습니다. OpenAI는 위험 완화 및 모델을 조정하기 위해 측정, 모델 변경, 정책, 모니터링 등 여러 수준에서 중재를 적용합니다. OpenAi는 실현 가능한 교육 데이터에서 개인 정보를 제거하고 개인 정보로 콘텐츠를 생성하는 정책이 있습니다. 이것은 개인 정보 보호 위험을 최소화합니다.

민감한 데이터가없는 일반적인 사용 사례의 경우 OpenAI 모델을 안전하게 활용할 수 있습니다. 그러나 독점 또는 규제 데이터의 경우 데이터 난독 화, 개인 AI 프로세서 또는 사내 모델과 같은 옵션이 바람직 할 수 있습니다. 미세 조정 GPT 3.5-turbo 비용 미세 조정 및 미세 조정 GPT 3.5-Turbo 모델 사용과 관련된 세 가지 비용이 있습니다.

교육 데이터 준비.

여기에는 특정 사용 사례에 맞게 조정 된 텍스트 프롬프트 및 원하는 응답의 데이터 세트를 치료하는 것이 포함됩니다. 비용은 데이터를 공급하고 형식화하는 데 필요한 시간과 노력에 따라 다릅니다. 초기 교육 비용.

이것은 교육 데이터의 토큰 당 청구됩니다. 1,000 마리의 토큰 당 $ 0.008, 100,000 토큰 교육 세트는 초기 미세 조정의 경우 $ 800입니다. 지속적인 사용 비용. 입력 프롬프트와 모델 출력 모두에 대해 토큰 당 청구됩니다. 1,000 개의 입력 토큰 당 $ 0.012, 1,000 개의 출력 토큰 당 $ 0.016, 응용 프로그램 사용에 따라 비용이 빨리 추가 될 수 있습니다.

사용 비용 시나리오의 예를 봅시다 :

4,000 개의 토큰 프롬프트/응답이있는 챗봇, 하루에 1,000 개의 상호 작용 : (4,000/1000) 입력 토큰 x $ 0.012 x 1,000 상호 작용 = $ 48 (4,000/1000) 출력 토큰 x $ 0.016 x 1,000 상호 작용 = $ 64 일당 $ 1120 또는 $ 1120

2,000 개의 토큰 입력이있는 텍스트 요약 API, 하루 500 개의 요청 : (2,000/1000) 입력 토큰 x $ 0.012 x 500 요청 = $ 12 (2,000/1000) 출력 토큰 x $ 0.016 x 500 요청 = $ 16 참고 : 개방형 가격이 1K 토큰에 따라 인용되기 때문에 토큰으로 1000으로 나뉩니다. 실제 엔드 투 엔드 데이터 과학 프로젝트에서 chatgpt를 사용하는 방법을 배우십시오. 프로젝트 계획, 데이터 분석, 데이터 전처리, 모델 선택, 하이퍼 파라미터 튜닝, 웹 앱 개발 및 공간에 배포하는 데 ChatGpt를 사용하는 방법을 배우려면 데이터 과학 프로젝트에 ChatGpt를 사용하는 안내서를 확인하십시오.

결론 우리가 큰 언어 모델 기능의 국경을 탐구 할 때, GPT-3.5 Turbo는 인간과 같은 텍스트 생성뿐만 아니라 미세 조정에 의해 잠재적 인 혁신적 인 잠재력에도 두드러집니다. 이 사용자 정의 프로세스는 개발자가 틈새 애플리케이션에 적합한 모델의 능력을 연마하여 전문 분야의 후임자들의 후임자들과 일치하거나 능가하는 우수한 결과를 얻을 수 있습니다. 직접, 응답 구조화 및 톤 개인화의 향상은 고유 한 요구 사항에 맞게 미세 조정하여 비즈니스가 고유 한 AI 중심 경험을 제공 할 수 있도록합니다. 그러나 큰 힘으로 상당한 책임이 있습니다. 생성 AI 및 언어 모델을 구현할 때 관련 비용을 이해하고 안전 및 개인 정보 보호 고려 사항을 염두에 두는 것이 중요합니다. 데이터 과학을위한 Chatgpt 치트 시트를 사용하여 데이터 과학 작업에 대한 60 개의 Chatgpt 프롬프트에 액세스하십시오.

위 내용은 GPT 3.5를 미세 조정하는 방법 : AI의 잠금 해제 전위의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!