Memanfaatkan Kuasa Memeluk Transformer Wajah untuk Pembelajaran Mesin

Dalam beberapa tahun kebelakangan ini, Hugging Face [https://huggingface.co/] telah muncul sebagai salah satu platform paling berpengaruh dalam komuniti pembelajaran mesin, menyediakan pelbagai alatan dan sumber untuk pembangun dan penyelidik. Salah satu tawarannya yang paling ketara ialah pustaka Transformers, yang menjadikannya lebih mudah untuk memanfaatkan model, set data dan aplikasi terkini. Pustaka ini membolehkan pengguna menyepadukan model pra-latihan dengan lancar ke dalam projek mereka dan mempercepatkan aliran kerja pembelajaran mesin.

Dalam artikel ini, kami akan meneroka pustaka Transformers, cara memasangnya dan mempamerkan beberapa kes penggunaan praktikal menggunakan saluran paip untuk tugasan seperti analisis sentimen, penjanaan teks dan klasifikasi sifar pukulan.

Apakah Transformers Wajah Memeluk?

Perpustakaan Transformers menyediakan API dan alatan untuk memuat turun dan melatih model pra-latihan terkini yang diperhalusi untuk pelbagai tugas, termasuk Pemprosesan Bahasa Asli (NLP), penglihatan komputer , dan aplikasi multimodal. Dengan menggunakan model terlatih, anda boleh mengurangkan kos pengiraan anda, jejak karbon dan masa yang diperlukan untuk melatih model dari awal. Ini cara yang bagus untuk mempercepatkan kitaran pembangunan dan memanfaatkan kemajuan terkini dalam pembelajaran mesin.

Pustaka menyokong Python 3.6 dan berfungsi dengan lancar dengan rangka kerja pembelajaran mendalam seperti PyTorch, TensorFlow dan Flax. Ia membolehkan anda memuat turun model terus dari hab model Memeluk Wajah dan menggunakannya untuk inferens dengan hanya beberapa baris kod.

Panduan Pemasangan

Sebelum anda mula menggunakan perpustakaan Transformers, adalah penting untuk menyediakan persekitaran pembangunan anda. Begini cara anda boleh memasangnya:

1. Sediakan Persekitaran Maya

Mulakan dengan mencipta persekitaran maya dalam direktori projek anda:

python -m venv .myenv

Aktifkan persekitaran maya:

• Pada Linux/macOS:

  source .myenv/bin/activate

Sahkan bahawa anda menggunakan versi Python yang betul:

python -V

Pastikan anda menggunakan Python 3.6 (contohnya, Python 3.10.10).

Naik taraf pip kepada versi terkini:

pip install --upgrade pip

2. Pasang Perpustakaan Transformers

Kini anda sudah bersedia untuk memasang Transformers. Jika anda menggunakan PyTorch, pasangkannya bersama pustaka menggunakan arahan berikut:

pip install 'transformers[torch]'

Untuk TensorFlow 2.0:

pip install 'transformers[tf-cpu]'

Untuk Flax (digunakan dalam persekitaran penyelidikan):

python -m venv .myenv

Jika anda menggunakan M Mac atau seni bina berasaskan ARM, anda mungkin memerlukan kebergantungan tambahan:

  source .myenv/bin/activate

Setelah semuanya disediakan, semak sama ada pemasangan berjaya dengan menjalankan arahan Python ini:

python -V

Jika berjaya, anda akan melihat output yang serupa dengan:

pip install --upgrade pip

Menggunakan API Saluran Paip untuk Inferens Pantas

API talian paip dalam perpustakaan Transformers Hugging Face memudahkan anda melaksanakan tugas pembelajaran mesin yang kompleks tanpa menyelidiki kod asas atau butiran model. Saluran paip mengendalikan prapemprosesan, inferens model dan pasca pemprosesan secara automatik untuk anda.

Mari kita lihat cara anda boleh menggunakan beberapa tugasan popular dengan API saluran paip.

1. Analisis Sentimen

Analisis sentimen melibatkan penentuan nada emosi di sebalik sekeping teks, seperti sama ada ia positif atau negatif. Begini cara anda boleh menggunakan API saluran paip untuk melaksanakan analisis sentimen:

pip install 'transformers[torch]'

Output:

pip install 'transformers[tf-cpu]'

Saluran paip mula-mula mempraproses teks (tokenisasi), menghantarnya melalui model dan akhirnya selepas memproses hasilnya. Dalam kes ini, model mengklasifikasikan input sebagai POSITIF dengan skor tinggi 0.999.

2. Penjanaan Teks

Transformers juga menyediakan cara mudah untuk menjana teks dengan model bahasa pra-latihan seperti GPT-2. Di bawah ialah contoh menggunakan saluran paip penjanaan teks:

pip install 'transformers[flax]'

Output:

brew install cmake
brew install pkg-config

Model menjana tiga variasi teks yang berbeza berdasarkan gesaan "Saya sayang awak". Ini berguna untuk menjana kandungan kreatif atau melengkapkan ayat yang diberikan.

3. Klasifikasi Pukulan Sifar

Klasifikasi sifar tangkapan ialah ciri berkuasa yang membolehkan anda mengelaskan teks ke dalam kategori tanpa melatih model secara eksplisit pada kategori tersebut. Sebagai contoh, anda boleh mengklasifikasikan teks ke dalam label yang dipratentukan walaupun anda belum melatih model pada set data khusus tersebut.

Ini contohnya:

python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('we love you'))"

Output:

[{'label': 'POSITIVE', 'score': 0.9998704791069031}]

Model mencadangkan bahawa teks berkemungkinan besar diklasifikasikan sebagai berita dengan skor keyakinan 0.51.

Anda juga boleh memvisualisasikan hasil dengan carta pai untuk mendapatkan gambaran pengedaran yang lebih baik:

from transformers import pipeline

classifier = pipeline("sentiment-analysis", model="distilbert/distilbert-base-uncased-finetuned-sst-2-english")
res = classifier("I love you! I love you! I love you!")

print(res)

Ini akan memaparkan carta pai yang mewakili kebarangkalian bagi setiap label, membantu anda memvisualisasikan cara model mentafsir teks.

Kesimpulan

Pustaka

Hugging Face Transformers menyediakan cara yang mudah dan berkuasa untuk mengakses model terkini dan menggunakannya untuk pelbagai tugas pembelajaran mesin. Sama ada anda sedang mengusahakan analisis sentimen, penjanaan teks atau klasifikasi sifar pukulan, API saluran paip memudahkan proses penyepaduan model lanjutan ini ke dalam projek anda.

Dengan arahan pemasangan yang mudah diikuti dan contoh praktikal, anda boleh mula memanfaatkan Transformers dalam beberapa langkah sahaja. Hab model Hugging Face juga menyediakan koleksi model pra-latihan yang banyak, membolehkan anda melaksanakan kemajuan terkini dalam pembelajaran mesin dengan cepat.

Atas ialah kandungan terperinci Memanfaatkan Kuasa Memeluk Transformer Wajah untuk Pembelajaran Mesin. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!