ML Bab Pemprosesan Bahasa Asli

Pemprosesan Bahasa Asli (NLP) melibatkan penggunaan model pembelajaran mesin untuk berfungsi dengan teks dan bahasa. Matlamat NLP adalah untuk mengajar mesin memahami perkataan yang dituturkan dan ditulis. Contohnya, apabila anda mengimlak sesuatu ke dalam peranti iPhone atau Android anda dan ia menukar pertuturan anda kepada teks, itu adalah algoritma NLP di tempat kerja.

Anda juga boleh menggunakan NLP untuk menganalisis ulasan teks dan meramal sama ada ia positif atau negatif. NLP boleh mengkategorikan artikel atau menentukan genre buku. Ia juga boleh digunakan untuk mencipta penterjemah mesin atau sistem pengecaman pertuturan. Dalam kes ini, algoritma pengelasan membantu mengenal pasti bahasa. Kebanyakan algoritma NLP ialah model klasifikasi, termasuk Regresi Logistik, Naive Bayes, CART (model pokok keputusan), Entropi Maksimum (juga berkaitan dengan pepohon keputusan) dan Model Markov Tersembunyi (berdasarkan proses Markov).

Wawasan kecil sebelum bermula: Di sebelah kiri gambar rajah Venn, kami mempunyai hijau yang mewakili NLP. Di sebelah kanan, kami mempunyai warna biru yang mewakili DL. Di persimpangan, kami mempunyai DNLP. Terdapat subseksyen DNLP yang dipanggil Seq2Seq. Urutan ke jujukan kini merupakan model yang paling canggih dan berkuasa untuk NLP. Walau bagaimanapun, kami tidak akan membincangkan seq2seq dalam blog ini. Kami akan merangkumi pada asasnya klasifikasi beg-of-words.

Dalam bahagian ini, anda akan memahami dan belajar cara:

• Teks bersih untuk menyediakannya untuk model pembelajaran mesin.
• Buat model Bag of Words.
• Gunakan model pembelajaran mesin pada model Bag of Words ini. Inilah yang akan kami fokuskan. Nota: Kami tidak akan membincangkan Seq2Seq, chatbots atau deep NLP. Bahan yang saya gunakan adalah daripada NLP dengan DL, jadi kami akan mengecualikan bahagian DL.

Untuk membaca blog penuh: ML Bab 7: Pemprosesan Bahasa Semulajadi

Atas ialah kandungan terperinci ML Bab Pemprosesan Bahasa Asli. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!