Bagaimana untuk menjalankan model Qwen2.5 secara tempatan dalam masa 3 minit?

qwen2.5-max: Model bahasa yang besar, seperti manusia seperti manusia

Landskap AI berdengung dengan model yang kuat, kos efektif seperti DeepSeek, Mistral Small 3, dan Qwen2.5 Max. Qwen2.5-Max, khususnya, membuat gelombang sebagai model campuran-of-experts (MOE) yang kuat, bahkan mengatasi DeepSeek V3 dalam beberapa tanda aras. Senibina lanjutan dan dataset latihan besar -besaran (sehingga 18 trilion token) menetapkan piawaian baru untuk prestasi. Artikel ini meneroka seni bina Qwen2.5-Max, kelebihan daya saingnya, dan potensi untuk menyaingi Deepseek V3. Kami juga akan membimbing anda melalui model QWEN2.5 yang menjalankan tempatan.

Ciri -ciri Model Kunci Qwen2.5:

• Sokongan berbilang bahasa: menyokong lebih daripada 29 bahasa.
• Konteks Extended: Mengendalikan konteks panjang sehingga token 128k.
• Keupayaan yang dipertingkatkan: Penambahbaikan yang signifikan dalam pengekodan, matematik, pengajaran berikut, dan pemahaman data berstruktur.

Jadual Kandungan:

• Ciri -ciri Model Kunci Qwen2.5
• menggunakan qwen2.5 dengan ollama
• qwen2.5: 7b Inference
• qwen2.5-coder: 3b Inference
• Kesimpulan

menjalankan qwen2.5 secara tempatan dengan ollama:

Pertama, pasang Ollama: pautan muat turun ollama

Linux/Ubuntu Pengguna: curl -fsSL https://ollama.com/install.sh | sh

Model ollama ollama yang ada:

Kami akan menggunakan model parameter 7B (lebih kurang 4.7 GB). Model yang lebih kecil disediakan untuk pengguna dengan sumber terhad.

qwen2.5: 7b kesimpulan:

ollama pull qwen2.5:7b

Perintah

akan memuat turun model. Anda akan melihat output yang serupa dengan ini: pull

<code>pulling manifest 
pulling 2bada8a74506... 100% ▕████████████████▏ 4.7 GB                         
... (rest of the output) ...
success</code>

kemudian jalankan model:

ollama run qwen2.5:7b

contoh pertanyaan:

prompt:

Tentukan pangkalan data vektor dalam 30 perkataan.

<code>Vector databases efficiently store and query numerical arrays (vectors), often using approximations for fast similarity searches in large datasets.</code>

prompt:

Senaraikan beberapa contoh.

<code>Popular vector databases include Pinecone, Weaviate, Milvus, ChromaDB, and Amazon Aurora Vectorstore.</code>

(tekan ctrl d untuk keluar)

Nota: Model yang dikendalikan oleh tempatan tidak mempunyai akses masa nyata dan keupayaan carian web. Contohnya:

prompt:

apa tarikh hari ini?

<code>Today's date is unavailable.  My knowledge is not updated in real-time.</code>

qwen2.5-coder: 3b kesimpulan:

ikuti proses yang sama, menggantikan

untuk

dalam

dan

perintah. qwen2.5-coder:3b qwen2.5:7b pull run Contoh pengekodan Prompt:

prompt: menyediakan kod python untuk urutan Fibonacci.

(output: kod python untuk urutan Fibonacci akan dipaparkan di sini)

prompt: Buat kalkulator mudah menggunakan fungsi python.

Kesimpulan:

Panduan ini menunjukkan cara menjalankan model QWEN2.5 secara tempatan menggunakan Ollama, menonjolkan kekuatan QWEN.5-MAX: panjang konteks 128K, sokongan berbilang bahasa, dan keupayaan yang dipertingkatkan. Walaupun pelaksanaan tempatan meningkatkan keselamatan, ia mengorbankan akses maklumat masa nyata. Qwen2.5 menawarkan keseimbangan antara kecekapan, keselamatan, dan prestasi, menjadikannya alternatif yang kuat untuk DeepSeek V3 untuk pelbagai aplikasi AI. Maklumat lanjut mengenai mengakses Qwen2.5-Max melalui Google Colab boleh didapati dalam sumber yang berasingan.

Atas ialah kandungan terperinci Bagaimana untuk menjalankan model Qwen2.5 secara tempatan dalam masa 3 minit?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!