GPT-4O 및 Langgraph Tutorial : TNT-LLM 애플리케이션 구축

Microsoft의 TNT-LLM : 분류 생성 및 텍스트 분류 혁신 Microsoft는 분류법 생성 및 텍스트 분류를 자동화하는 획기적인 시스템 인 TNT-LLM을 발표하여 전통적인 방법을 속도와 정확도로 능가했습니다. 이 혁신적인 접근 방식은 LLM (Large Language Model)의 힘을 활용하여 분류 및 분류기 생성을 간소화하고 확장하여 수동 개입을 최소화합니다. 이는 동적 및 다양한 텍스트 데이터를 관리하는 것이 가장 중요한 Bing Copilot과 같은 응용 프로그램에 특히 도움이됩니다. 이 기사에서는 효율적인 뉴스 기사 클러스터링을 위해 GPT-4O 및 Langgraph를 사용한 TNT-LLM의 구현을 보여줍니다. GPT-4O 및 Langgraph에 대한 자세한 내용은 다음과 같은 리소스를 참조하십시오.

Openai의 GPT-4O는 무엇입니까? gpt-4o API 튜토리얼 : OpenAi의 API 로 시작합니다 langgraph 튜토리얼 : langgraph 란 무엇이고 그것을 사용하는 방법? 원래 TNT-LLM 연구 논문 인 "TNT-LLM : 대형 언어 모델로 규모로 텍스트 마이닝"은 시스템에 대한 포괄적 인 세부 정보를 제공합니다. tnt-llm 이해

tnt-llm (대형 언어 모델을 사용한 분류 및 텍스트 분류)은 텍스트 데이터에서 분류를 생성하고 분류하도록 설계된 2 단계 프레임 워크입니다. 1 단계 : 분류 생성

이 초기 단계는 텍스트 문서의 샘플과 특정 명령을 사용합니다 (예 : "클러스터 뉴스 기사에 대한 분류법 생성"). LLM은 각 문서를 요약하여 주요 정보를 추출합니다. 반복 정제를 통해 LLM은 분류법을 구축, 수정 및 개선하여 효과적인 뉴스 기사 분류를위한 라벨과 설명의 구조화 된 계층 구조를 초래합니다.

• 출처 : Mengting Wan et al 2 단계 : 텍스트 분류
• 두 번째 단계는 생성 된 분류법을 사용하여 더 큰 데이터 세트에 레이블을 지정합니다. LLM은 이러한 레이블을 적용하여 가벼운 분류기 (로지스틱 회귀와 같은)에 대한 교육 데이터를 만듭니다. 이 훈련 된 분류기는 전체 데이터 세트에 효율적으로 레이블을 붙이거나 실시간 분류를 수행합니다.
• 출처 : Mengting Wan et al TNT-LLM의 적응 가능한 특성은 의도 감지 및 주제 분류를 포함하여 다양한 텍스트 분류 작업에 적합합니다. tnt-llm의 장점
TNT-LLM은 대규모 텍스트 마이닝 및 분류에 대한 상당한 이점을 제공합니다.
자동화 된 분류 생성 :
• 는 원시 텍스트에서 상세하고 해석 가능한 분류의 생성을 자동화하여 광범위한 수동 노력과 도메인 전문 지식을 제거합니다. 확장 가능한 분류 : 큰 데이터 세트와 실시간 분류를 효율적으로 처리하는 가벼운 모델을 사용하여 확장 가능한 텍스트 분류를 가능하게합니다.
비용 효율성 :
• 계층화 된 LLM 사용 (예 : 분류 생성을위한 GPT-4, 요약을위한 GPT-3.5-Turbo 및 최종 분류에 대한 로지스틱 회귀)을 통해 자원 사용량을 최적화합니다. 고품질 출력 : 반복 분류 생성 생성은 고품질, 관련성 및 정확한 분류를 보장합니다. 최소 인간 개입 : 수동 입력을 줄이고 잠재적 편향과 불일치를 최소화합니다. 유연성 :
다양한 텍스트 분류 작업 및 도메인에 적응하여 다양한 LLMS, 임베딩 방법 및 분류기와의 통합을 지원합니다.
• tnt-llm 구현 단계별 구현 안내서는 다음과 같습니다 설치 : 필요한 패키지를 설치하십시오 :
API 키 및 모델 이름에 대한 환경 변수 설정 :
• 핵심 개념 : 문서 :
클래스를 사용하여 구성된 텍스트 데이터 (기사, 채팅 로그). 분류 :
• 클래스에서 관리하는 분류 된 의도 또는 주제의 클러스터.
간단한 TNT-llm 응용 프로그램 구축 : 다음 섹션에서는 주요 프로세스를 설명하기 위해 코드 스 니펫을 사용하여 구현 단계를 자세히 설명합니다. 원래 코드의 길이로 인해 여기에서 완전한 재생산은 비현실적입니다. 그러나 다음은 프로세스에 대한 구조화 된 개요를 제공합니다.
• 0 단계 : 그래프 상태 클래스 정의, 데이터 세트로드 및 GPT-4O 초기화 : 여기에는 데이터 구조를 정의하고 뉴스 기사 데이터 세트로드하는 것이 포함됩니다. GPT-4O 모델은 파이프 라인 전체에서 사용하기 위해 초기화됩니다.

1 단계 : 문서를 요약 :

각 문서는 LLM 프롬프트를 사용하여 요약됩니다.
2 단계 : 미니 배트 생성 :

요약 된 문서는 병렬 처리를 위해 미니 배로 나뉩니다. 3 단계 : 초기 분류 생성 :

초기 분류는 첫 번째 미니 배트에서 생성됩니다.
4 단계 : 분류 업데이트 :

pip install langgraph langchain langchain_openai

분류법은 후속 미니 배트가 처리되면 반복적으로 업데이트됩니다.
5 단계 : 분류법 검토 :

export AZURE_OPENAI_API_KEY='your_api_key_here'
export AZURE_OPENAI_MODEL='your_deployment_name_here'
export AZURE_OPENAI_ENDPOINT='deployment_endpoint'

최종 분류법은 정확성과 관련성에 대해 검토됩니다.
• 6 단계 : StateGraph를 사용하여 TNT-LLM 파이프 라인 오케스트레이션 : 7 단계 : TNT-LLM의 뉴스 기사 분류법 클러스터링 및 표시 : 최종 분류법이 표시되어 뉴스 기사의 클러스터를 보여줍니다.
결론

• tnt-llm은 대규모 텍스트 마이닝 및 분류를위한 강력하고 효율적인 솔루션을 제공합니다. 자동화 기능은 구조화되지 않은 텍스트 데이터를 분석하는 데 필요한 시간과 리소스를 크게 줄여 다양한 도메인에서 데이터 중심 의사 결정을 가능하게합니다. 산업 간의 추가 개발 및 응용 가능성은 상당합니다. 추가 LLM 애플리케이션 개발에 관심이있는 사람들의 경우 "Langchain을 사용하여 LLM 응용 프로그램 개발"에 관한 과정이 권장됩니다.

위 내용은 GPT-4O 및 Langgraph Tutorial : TNT-LLM 애플리케이션 구축의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!