Bagaimana untuk menjalankan LLMs secara tempatan dalam 1 minit?

Mari kita lihat bagaimana untuk menjalankan LLM pada sistem anda dengan Ollama dan memeluk wajah hanya beberapa langkah mudah!

Video berikut menerangkan langkah demi langkah:

Bagaimana untuk menjalankan llm secara tempatan dalam satu minit [pemula mesra]

Pautan video

- Dylan (@dylan Ebert ) 6 Januari 2025

Langkah untuk menjalankan LLM Locally

Langkah 1: Muat turun ollama

Pertama, cari "Ollama" pada penyemak imbas anda, muat turun dan pasang pada sistem anda.

Langkah 2: Cari sumber terbuka yang terbaik LLM

Seterusnya, cari "Ranking LLM yang memeluk" untuk mencari senarai model bahasa sumber terbuka.

Langkah 3: Tapis model berdasarkan peranti anda

Selepas melihat senarai, gunakan penapis untuk mencari model terbaik untuk persediaan anda. Sebagai contoh:

• Pilih peralatan gred pengguna rumah.
• Hanya pilih penyedia rasmi untuk mengelakkan model tidak rasmi atau tidak disahkan.
• Jika komputer riba anda dilengkapi dengan GPU rendah, pilih model yang direka untuk peranti kelebihan.

Klik pada model peringkat atas, seperti Qwen/Qwen2.5-35b . Di sudut kanan atas skrin, klik "Gunakan model ini". Walau bagaimanapun, anda tidak dapat mencari Ollama sebagai pilihan di sini.

Ini kerana Ollama menggunakan format khas yang dipanggil GGUF, yang merupakan versi yang lebih kecil, lebih cepat dan kuantitatif model.

(Nota: kuantisasi sedikit akan mengurangkan kualiti, tetapi menjadikannya lebih sesuai untuk kegunaan tempatan.)

Dapatkan model dalam format GGUF: Susun model -model ini dengan muat turun yang paling.

Cari model dengan "gguf" dalam nama mereka, seperti Bartowski . Ini adalah pilihan yang baik.

• Pilih model ini dan klik "Gunakan model ini dengan Ollama".
• Untuk tetapan kuantisasi, pilih saiz fail yang 1-2GB lebih kecil daripada RAM GPU anda, atau pilih pilihan yang disyorkan, seperti Q5_K_M.

Langkah 5: Muat turun dan mula menggunakan model

Salin arahan yang disediakan untuk model pilihan anda dan tampalnya ke terminal anda. Tekan kekunci "Enter" dan tunggu muat turun selesai.

Selepas muat turun selesai, anda boleh mula berbual dengan model seperti yang anda lakukan dengan LLM lain. Mudah dan menyeronokkan!

Itu sahaja! Anda kini menjalankan LLM yang kuat di dalam peranti anda. Sila beritahu saya jika langkah -langkah ini berfungsi untuk anda di bahagian komen di bawah.

Atas ialah kandungan terperinci Bagaimana untuk menjalankan LLMs secara tempatan dalam 1 minit?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!