Qwen 's QWQ -32B : 잠재력이 큰 소규모 모델 - 분석 Vidhya

중국의 AI 능력은 Deepseek 및 Qwen과 같은 모델에 도전하는 글로벌 리더들에게 빠르게 확장되고 있습니다. Chatgpt 경쟁자 인 Deepseek은 상당한 관심을 끌었으며 Qwen의 다재다능한 챗봇 인 비전, 추론 및 코딩을 통합하면서 인상적인 진전을 이루고 있습니다. Qwen의 최신 추론 모델 인 QWQ 32B는 DeepSeek-R1 및 O1-Mini와 같은 최고 수준의 모델과 경쟁하는 중간 규모의 경쟁자이며 AI에서 중국의 놀라운 발전을 보여줍니다.

목차

• Qwen의 QWQ 32B 이해
• 성능 벤치 마크
• QWQ 32B 액세스 :
  • 가장 쉬운 방법 : Qwen 채팅
  • 포옹 얼굴을 통한 로컬 배치
  • Ollama와의 로컬 설정을 단순화했습니다
• QWQ 32B 활동
• 결론

Qwen의 QWQ 32B 이해

Qwen 제품군의 32 억 파라미터 모델 인 QWQ-32B는 강화 학습 (RL)을 활용하여 추론 및 문제 해결 기능을 향상시킵니다. 그 성능은 DeepSeek-R1과 같은 대규모 모델의 성능과 피드백을 기반으로 추론을 조정하고 효과적으로 도구를 활용합니다. 포옹 페이스 및 Modelscope에 대한 Apache 2.0 라이센스에 따라 오픈 웨이트 및 이용 가능하며 Qwen Chat을 통해 액세스 할 수 있으며 RL의 잠재력을 보여 주어 AI 성능을 크게 향상시킵니다.

성능 벤치 마크

QWQ-32B의 수학적 추론, 코딩 및 문제 해결 기술은 다양한 벤치 마크에서 엄격하게 테스트되었습니다. 다음의 비교는 DeepSeek-R1-Distilled-Qwen-32B, DeepSeek-R1-Distilled-Llama-70B, O1-Mini 및 Original DeepSeek-R1과 같은 주요 모델에 대한 성능을 강조합니다.

다양한 작업에 대한 추론을 평가하는 LiveBench 점수는 QWQ-32B를 R1과 O3-MINI 사이에 위치하지만 상당히 낮은 비용 (약 1/10)입니다. API 또는 OpenRouter 데이터를 기반으로 가격 추정치는 QWQ- 예정을 DeepInfra의 출력 토큰 당 $ 0.18로 배치하여 비용 효율성을 강조합니다.

Alibaba의 QWQ-32B는 GPQA 다이아몬드 (과학적 추론)에서 59%, AIME 2024 (수학)에서 86%를 달성했습니다. 수학이 뛰어나면서 과학적 추론은 최고 경쟁자보다 뒤떨어집니다.

현재 Huggingface에서 1 위를 차지합니다.

무료 QWQ 32B 과정을 통해 자세히 알아보십시오!

QWQ 32B 액세스

QWQ-32B에 액세스하면 요구 사항과 기술 전문 지식에 따라 몇 가지 옵션이 제공됩니다.

Qwen 채팅을 통해 (가장 간단한 접근)

1. https://www.php.cn/link/e3524b4d458e3625befde27f60809f34 를 방문하십시오.
2. 계정을 만듭니다 (필요한 경우).
3. 모델 선택 메뉴에서 "QWQ-32B"를 선택하십시오.
4. 모델과 상호 작용하기 시작하십시오.

포옹 얼굴을 통한 로컬 배치

전제 조건 :

• 고급 GPU (24GB VRAM 최소; 정량화되지 않은 FP16의 경우 80GB; 양자화 된 버전의 경우 약 20GB).
• Python 3.8, Git, Pip 또는 Conda.
• 포옹 페이스 트랜스포머 라이브러리 (4.37.0).

설치 및 사용 : (원본 텍스트에 제공된 코드 스 니펫은 여기에 유지됩니다)

 <code>pip install transformers torch</code>

 <code>from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "Qwen/QwQ-32B" model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto") tokenizer = AutoTokenizer.from_pretrained(model_name)</code>

 <code>prompt = "How many r's are in the word 'strawberry'?" messages = [{"role": "user", "content": prompt}] text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) model_inputs = tokenizer([text], return_tensors="pt").to(model.device) generated_ids = model.generate(**model_inputs, max_new_tokens=512) response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0] print(response)</code>

Ollama와의 로컬 설정을 단순화했습니다

1. Ollama.com에서 Ollama를 다운로드하여 설치하십시오.
2. 모델 당기기 : ollama pull qwq:32b
3. 모델 실행 : ollama run qwq:32b

QWQ 32B 활동

(포함 된 비디오가 포함 된 예는 원본 텍스트에서 유지됩니다)

프롬프트 : 불꽃 주위에 불꽃이있는 촛불이 밝은 정적 웹 페이지를 만듭니다.

프롬프트 : 모든 방향으로 미사일을 발사 할 수있는 앉은 게임을 개발하십시오. 처음에는 적의 속도가 매우 느리지 만 적 3 명을 물리 치면 속도가 점차 증가합니다. P5.JS로 구현하십시오

프롬프트 : 회전하는 육각형 내부에서 공이 튀는 것을 보여주는 파이썬 프로그램을 작성하십시오. 공은 중력과 마찰의 영향을 받아야하며, 회전 벽을 현실적으로 튀어 나와야합니다 .

결론

QWQ-32B는 AI 추론의 상당한 발전을 나타내며, 비용의 일부로 상위 모델과 비교할 수있는 성능을 제공합니다. 강력한 라이브 벤치 점수와 비용 효율성 (출력 토큰 당 $ 0.18)은 다양한 응용 프로그램을위한 실용적이고 액세스 가능한 솔루션입니다. 이 진보는 고성능 AI가 더 저렴하고 널리 접근 할 수있는 잠재력을 의미하며, 더 큰 혁신을 촉진합니다.

무료 코스와 함께 프로젝트에서 QWQ 32B 사용에 대해 자세히 알아보십시오!

위 내용은 Qwen 's QWQ -32B : 잠재력이 큰 소규모 모델 - 분석 Vidhya의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!