Huggingface Smollm으로 개인 AI 조수를 만드는 방법

ON-DEVICE AI의 힘을 활용 : 개인 챗봇 CLI 구축

최근에 개인 AI 조수의 개념은 공상 과학처럼 보였다. 클라우드 서비스 나 외부 서버에 의존하지 않는 스마트 한 지역 AI 동반자를 꿈꾸는 기술 애호가 인 Alex를 상상해보십시오. SLM (Small Language Models)의 발전 덕분에 Alex의 꿈은 이제 현실입니다. 이 기사는 Huggingf 터미널 내에서 채팅, 질문에 대답하고 대화를 저장할 수있는 기능적 AI 보조원을 구축합니다. Op-Device ai의 세계를 탐구합시다!

주요 학습 목표 :

• Huggingface Smollm 모델의 기능과 응용 프로그램을 파악하십시오.
• Op-Device AI 응용 프로그램에 SLM 모델을 활용하십시오.
• SLM 아키텍처 내에서 GQA (Grouped-Query 관심)를 탐색하십시오.
• Typer 및 Rich 라이브러리를 사용하여 대화식 CLI 응용 프로그램을 개발하십시오.
• 강력한 AI 애플리케이션을 위해 Huggingface 모델을 Langchain과 통합하십시오.

목차 :

• Huggingface Smollm 소개
• 그룹화 된 관심 이해 (GQA)
• GQA 로의 깊은 다이빙
• Smollm 사용
• 타이퍼 탐험
• 타이퍼 구현
• 프로젝트 설정
• 채팅 응용 프로그램 구축
• 자주 묻는 질문

Huggingface Smollm : 더 자세한 표정

Smollm은 세 가지 크기 (135m, 360m 및 1.7b 매개 변수)로 제공되는 일련의 최첨단 소형 언어 모델입니다. 고품질 코퍼스 (Cosmopedia v2-합성 교과서, 교육 파이썬 샘플 및 교육 웹 데이터의 혼합)에 대한 교육을받은 이러한 모델은 공통 감각 추론 및 세계 지식과 관련된 벤치 마크에서 뛰어나고 Huggingface에 따르면 크기 범주에서 다른 모델을 능가합니다.

성능 비교 :

주제 분포 :

135m 및 360m 매개 변수 모델은 Mobilellm과 같은 아키텍처를 사용하여 GQA를 통합하고 폭 이상 깊이 우선 순위를 정합니다.

GQA (Grouped-Query주의) : 효율성 재정의

주의 메커니즘은 다양한 형태로 제공됩니다.

• 멀티 헤드주의 (MHA) : 각 헤드에는 독립적 인 쿼리, 키 및 가치 헤드가 있습니다.
• 다중 정체주의 (MQA) : 공유 키 및 가치 헤드를 공유하지만 각 헤드는 MHA보다 더 효율적인 자체 쿼리를 유지합니다.
• GQA (Grouped-Query Arection) : 그룹 내에서 키 및 가치 헤드를 공유하는 그룹의주의 헤드를 그룹화합니다. 속도와 효율성을 최적화합니다. 이를 팀이 협력 적으로 일하는 팀으로 생각하여 생산성 향상을위한 리소스를 공유하십시오.

GQA를 자세히 이해합니다

GQA는 각 그룹 내에서 키 및 값 헤드를 공유하여주의 헤드를 그룹화하여 처리 효율성을 향상시킵니다. 이것은 각 머리에 고유 한 키와 값이있는 전통적인 방법과 대조됩니다.

주요 고려 사항 :

• GQA-G : G 그룹과 GQA.
• GQS-1 : MQA와 유사한 단일 그룹 케이스.
• GQA-H : 그룹의 수는 MHA와 유사한주의 헤드 수와 같습니다.

GQA의 이점 :

• 속도 증가 : 특히 대형 모델에서는 더 빠른 처리.
• 효율성 향상 : 데이터 처리 감소, 메모리 절약 및 처리 전력.
• 최적의 균형 : 속도와 정확도의 균형을 달성합니다.

Smollm과 협력합니다

PIP를 사용하여 Pytorch 및 Transformers를 설치하십시오.

 PIP Torch Transformers를 설치하십시오

다음 코드 스 니펫 ( main.py 에 배치)은 smollm-360m-instruct 모델을 사용합니다 (다른 크기에 적응할 수 있음).

 Transformers에서 AutoTokenizer의 AutomodElforcausAllm을 가져옵니다

Checkpoint = "HuggingFacetb/Smollm-360m-instruct"
# ... (원래 기사에서와 같이 코드의 나머지)

예제 출력 :

(원래 기사의 구조와 내용을 팔로우하여 원래 의미를 유지하면서 개선 된 흐름과 명확성을 위해 문구 및 문장 구조를 조정하면서 나머지 섹션 (단위, 프로젝트 설정, 채팅 응용 프로그램 및 FAQ)을 계속하십시오.

위 내용은 Huggingface Smollm으로 개인 AI 조수를 만드는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!