Memahami Tokenisasi: Menyelam Lebih Dalam ke dalam Tokenizer dengan Muka Memeluk

Tokenisasi ialah konsep asas dalam pemprosesan bahasa semula jadi (NLP), terutamanya apabila berurusan dengan model bahasa. Dalam artikel ini, kami akan meneroka perkara yang dilakukan oleh tokenizer, cara ia berfungsi dan cara kami boleh memanfaatkannya menggunakan perpustakaan transformer Hugging Face [https://huggingface.co/docs/transformers/index] untuk pelbagai aplikasi.

Apa itu Tokenizer?

Pada terasnya, tokenizer memecahkan teks mentah kepada unit yang lebih kecil yang dipanggil token. Token ini boleh mewakili perkataan, subkata atau aksara, bergantung pada jenis tokenizer yang digunakan. Matlamat tokenisasi adalah untuk menukar teks yang boleh dibaca manusia kepada bentuk yang lebih boleh ditafsir oleh model pembelajaran mesin.

Tokenisasi adalah kritikal kerana kebanyakan model tidak memahami teks secara langsung. Sebaliknya, mereka memerlukan nombor untuk membuat ramalan, di mana tokenizer masuk. Ia mengambil teks, memprosesnya dan mengeluarkan perwakilan matematik yang boleh digunakan oleh model.

Dalam siaran ini, kami akan membincangkan cara tokenisasi berfungsi menggunakan model terlatih daripada Hugging Face, meneroka kaedah berbeza yang tersedia dalam perpustakaan transformer dan melihat cara tokenisasi mempengaruhi tugas hiliran seperti analisis sentimen.

Menyediakan Model dan Tokenizer

Pertama, mari kita mengimport perpustakaan yang diperlukan daripada pakej transformer dan memuatkan model terlatih. Kami akan menggunakan model "DistilBERT" yang diperhalusi untuk analisis sentimen.

from transformers import pipeline
from transformers import AutoTokenizer, AutoModelForSequenceClassification

# Load the pre-trained model and tokenizer
model_name = "distilbert-base-uncased-finetuned-sst-2-english"
model = AutoModelForSequenceClassification.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Create the classifier pipeline
classifier = pipeline("sentiment-analysis", model=model, tokenizer=tokenizer)

Teks Tokenizing

Dengan model dan tokenizer disediakan, kita boleh mula tokenizing ayat mudah. Berikut adalah contoh ayat:

sentence = "I love you! I love you! I love you!"

Mari kita pecahkan proses tokenisasi langkah demi langkah:

1. Output Tokenizer: ID Input dan Topeng Perhatian

Apabila anda memanggil tokenizer secara terus, ia memproses teks dan mengeluarkan beberapa komponen utama:

• input_id: Senarai ID integer yang mewakili token. Setiap token sepadan dengan entri dalam perbendaharaan kata model.
• topeng_perhatian: Senarai satu dan sifar yang menunjukkan token mana yang perlu dijaga oleh model. Ini amat berguna apabila berurusan dengan padding.

res = tokenizer(sentence)
print(res)

Output:

from transformers import pipeline
from transformers import AutoTokenizer, AutoModelForSequenceClassification

# Load the pre-trained model and tokenizer
model_name = "distilbert-base-uncased-finetuned-sst-2-english"
model = AutoModelForSequenceClassification.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Create the classifier pipeline
classifier = pipeline("sentiment-analysis", model=model, tokenizer=tokenizer)

• input_id: Integer mewakili token. Contohnya, 1045 sepadan dengan "Saya", 2293 untuk "cinta", dan 999 untuk "!".
• topeng_perhatian: Yang menunjukkan bahawa semua token perlu diberi perhatian. Jika terdapat token pelapik, anda akan melihat sifar dalam senarai ini, menunjukkan ia harus diabaikan.

2. Tokenisasi

Jika anda ingin tahu tentang cara tokenizer membahagikan ayat kepada token individu, anda boleh menggunakan kaedah tokenize(). Ini akan memberi anda senarai token tanpa ID asas:

sentence = "I love you! I love you! I love you!"

Output:

res = tokenizer(sentence)
print(res)

Perhatikan bahawa tokenisasi melibatkan pemecahan ayat kepada unit bermakna yang lebih kecil. Tokenizer juga menukar semua aksara kepada huruf kecil, kerana kami menggunakan model distilbert-base-uncased, yang tidak peka huruf besar-kecil.

3. Menukar Token kepada ID

Sebaik sahaja kami mempunyai token, langkah seterusnya ialah menukarnya kepada ID integer yang sepadan menggunakan kaedah convert_tokens_to_ids():

{
    'input_ids': [101, 1045, 2293, 2017, 999, 1045, 2293, 2017, 999, 1045, 2293, 2017, 999, 102],
    'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
}

Output:

tokens = tokenizer.tokenize(sentence)
print(tokens)

Setiap token mempunyai ID integer unik yang mewakilinya dalam perbendaharaan kata model. ID ini ialah input sebenar yang digunakan oleh model untuk pemprosesan.

4. Menyahkod ID Kembali ke Teks

Akhir sekali, anda boleh menyahkod ID token kembali ke dalam rentetan yang boleh dibaca manusia menggunakan kaedah nyahkod():

['i', 'love', 'you', '!', 'i', 'love', 'you', '!', 'i', 'love', 'you', '!']

Output:

ids = tokenizer.convert_tokens_to_ids(tokens)
print(ids)

Perhatikan bahawa rentetan yang dinyahkod adalah sangat hampir dengan input asal, kecuali untuk mengalih keluar huruf besar, yang merupakan tingkah laku standard untuk model "tidak berselubung".

Memahami Token Khas

Dalam output input_id, anda mungkin perasan dua token khas: 101 dan 102. Token ini ialah penanda khas yang digunakan oleh banyak model untuk menandakan permulaan dan akhir ayat. Khususnya:

• 101: Menandakan permulaan ayat.
• 102: Menandai penghujung ayat.

Token khas ini membantu model memahami sempadan teks input.

Topeng Perhatian

Seperti yang dinyatakan sebelum ini, attention_mask membantu model membezakan antara token sebenar dan token padding. Dalam kes ini, attention_mask ialah senarai yang, menunjukkan bahawa semua token harus dijaga. Jika terdapat token pelapik, anda akan melihat sifar dalam topeng untuk mengarahkan model mengabaikannya.

Ringkasan Tokenizer

Untuk meringkaskan, tokenisasi ialah langkah penting dalam menukar teks kepada bentuk yang boleh diproses oleh model pembelajaran mesin. Tokenizer Peluk Wajah mengendalikan pelbagai tugas seperti:

• Menukar teks kepada token.
• Memetakan token kepada ID integer unik.
• Menjana topeng perhatian untuk model mengetahui token yang penting.

Kesimpulan

Memahami cara tokenizer berfungsi adalah kunci untuk memanfaatkan model pra-latihan dengan berkesan. Dengan memecahkan teks kepada token yang lebih kecil, kami membolehkan model memproses input dengan cara yang berstruktur dan cekap. Sama ada anda menggunakan model untuk analisis sentimen, penjanaan teks atau sebarang tugas NLP lain, tokenizer ialah alat penting dalam perancangan.

Atas ialah kandungan terperinci Memahami Tokenisasi: Menyelam Lebih Dalam ke dalam Tokenizer dengan Muka Memeluk. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!