Tutorial TorchChat Pytorch ' s: Persediaan Tempatan dengan Python

TorchChat: Membawa kesimpulan model bahasa yang besar ke mesin tempatan anda

Model bahasa yang besar (LLMS) sedang mengubah teknologi, namun menggunakannya pada peranti peribadi telah mencabar kerana batasan perkakasan. Rangka kerja TorchChat yang baru di Pytorch menangani ini, membolehkan pelaksanaan LLM yang cekap merentasi pelbagai platform perkakasan, dari komputer riba ke peranti mudah alih. Artikel ini menyediakan panduan praktikal untuk menubuhkan dan menggunakan Torchchat secara tempatan dengan Python.

Pytorch, Rangka Kerja Pembelajaran Mesin Sumber Sumber AI (adil) Facebook, yang menyokong TorchChat. Fleksibilitasnya meluas ke penglihatan komputer dan pemprosesan bahasa semulajadi.

Ciri -ciri Utama Torchchat:

Torchchat menawarkan empat fungsi teras:

1. Python/Pytorch LLM Execution: Run LLMS pada mesin dengan python dan pytorch dipasang, berinteraksi secara langsung melalui terminal atau pelayan API REST. Artikel ini memberi tumpuan kepada persediaan ini.
2. Penyebaran model yang serba lengkap: menggunakan induktor AOT (induktor di hadapan), Torchchat mencipta eksekutif yang serba lengkap (perpustakaan dinamik) bebas daripada Python dan Pytorch. Ini memastikan runtime model stabil dalam persekitaran pengeluaran tanpa rekompilasi. Induktor AOT mengoptimumkan penggunaan melalui format binari yang cekap, melampaui overhead obor.
3. Pelaksanaan Peranti Mudah Alih: Memanfaatkan Executorch, TorchChat mengoptimumkan model untuk peranti mudah alih dan tertanam, menghasilkan artifak PTE untuk pelaksanaan.
4. Penilaian Model: Menilai prestasi LLM menggunakan rangka kerja lm_eval, penting untuk penyelidikan dan penandaarasan.

mengapa llms llms secara tempatan?

Pelaksanaan LLM tempatan menawarkan beberapa kelebihan:

• Privasi yang dipertingkatkan: sesuai untuk data sensitif dalam sektor penjagaan kesihatan, kewangan, dan undang -undang, memastikan data kekal dalam infrastruktur organisasi.
• Prestasi masa nyata: meminimumkan latensi untuk aplikasi yang memerlukan respons pesat, seperti chatbots interaktif dan penjanaan kandungan masa nyata.
• keupayaan luar talian: membolehkan penggunaan LLM di kawasan yang mempunyai sambungan internet terhad atau tiada.
• Pengoptimuman Kos: lebih berkesan kos daripada penggunaan API awan untuk aplikasi volum tinggi.

Persediaan Tempatan dengan Python: Panduan Langkah demi Langkah

1. klon repositori: klon repositori obor menggunakan git:

   git clone git@github.com:pytorch/torchchat.git

   Sebagai alternatif, muat turun terus dari antara muka GitHub.

   

2. Pemasangan: Dengan mengandaikan Python 3.10 dipasang, buat persekitaran maya:

   python -m venv .venv
   source .venv/bin/activate

   Pasang kebergantungan menggunakan skrip yang disediakan:

   ./install_requirements.sh

   Sahkan pemasangan:

   git clone git@github.com:pytorch/torchchat.git

3. Menggunakan TorchChat:

   • Penyenaraian model yang disokong:

     python -m venv .venv
     source .venv/bin/activate

     

   • Muat turun model: Pasang CLI muka yang memeluk (), buat akaun muka yang memeluk, menjana token akses, dan log masuk (pip install huggingface_hub). Muat turun model (mis., huggingface-cli login): stories15M

     ./install_requirements.sh

   • menjalankan model: menghasilkan teks:

     python torchchat.py --help

     atau gunakan mod sembang:

     python torchchat.py list

   • Meminta akses: Untuk model yang memerlukan akses (mis., ), ikuti arahan dalam mesej ralat. llama3

   

   Penggunaan Lanjutan: Prestasi Penalaan Fine

Kawalan ketepatan ():

Laraskan jenis data untuk kelajuan/ketepatan trade-off (mis.,
• ). --dtype kompilasi Just-in-Time (JIT) (--dtype fast):
Meningkatkan kelajuan kesimpulan (tetapi meningkatkan masa permulaan).
• --compile kuantisasi (): mengurangkan saiz model dan meningkatkan kelajuan menggunakan fail konfigurasi JSON.
Spesifikasi peranti
• (): --quantize Nyatakan peranti (mis., ).
• Kesimpulan --device TorchChat memudahkan pelaksanaan LLM tempatan, menjadikan AI maju lebih mudah diakses. Panduan ini menyediakan asas untuk meneroka keupayaannya. Siasatan lanjut ke atas ciri -ciri Torchchat sangat disyorkan.

Atas ialah kandungan terperinci Tutorial TorchChat Pytorch ' s: Persediaan Tempatan dengan Python. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!