Teknik Python lanjutan untuk Pemprosesan dan Analisis Teks yang Cekap

Sebagai pengarang yang prolifik, saya menjemput anda untuk menerokai buku saya di Amazon. Ingat untuk mengikuti saya di Medium untuk sokongan dan kemas kini yang berterusan. Terima kasih atas sokongan anda yang tidak ternilai!

Bertahun-tahun pembangunan Python tertumpu pada pemprosesan dan analisis teks telah mengajar saya kepentingan teknik yang cekap. Artikel ini menyerlahkan enam kaedah Python lanjutan yang sering saya gunakan untuk meningkatkan prestasi projek NLP.

Ungkapan Biasa (Modul semula)

Ekspresi biasa sangat diperlukan untuk pemadanan corak dan manipulasi teks. Modul re Python menawarkan kit alat yang mantap. Menguasai regex memudahkan pemprosesan teks yang kompleks.

Sebagai contoh, mengekstrak alamat e-mel:

import re

text = "Contact us at info@example.com or support@example.com"
email_pattern = r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b'
emails = re.findall(email_pattern, text)
print(emails)

Output: ['info@example.com', 'support@example.com']

Regex juga cemerlang dalam penggantian teks. Menukar jumlah dolar kepada euro:

text = "The price is .99"
new_text = re.sub(r'$(\d+\.\d{2})', lambda m: f"€{float(m.group(1))*0.85:.2f}", text)
print(new_text)

Output: "The price is €9.34"

Utiliti Modul Rentetan

Modul string Python, walaupun kurang menonjol daripada re, menyediakan pemalar dan fungsi yang berguna untuk pemprosesan teks, seperti mencipta jadual terjemahan atau mengendalikan pemalar rentetan.

Mengalih keluar tanda baca:

import string

text = "Hello, World! How are you?"
translator = str.maketrans("", "", string.punctuation)
cleaned_text = text.translate(translator)
print(cleaned_text)

Output: "Hello World How are you"

difflib untuk Perbandingan Jujukan

Membandingkan rentetan atau mengenal pasti persamaan adalah perkara biasa. difflib menawarkan alatan untuk perbandingan jujukan, sesuai untuk tujuan ini.

Mencari perkataan yang serupa:

from difflib import get_close_matches

words = ["python", "programming", "code", "developer"]
similar = get_close_matches("pythonic", words, n=1, cutoff=0.6)
print(similar)

Output: ['python']

SequenceMatcher mengendalikan perbandingan yang lebih rumit:

from difflib import SequenceMatcher

def similarity(a, b):
    return SequenceMatcher(None, a, b).ratio()

print(similarity("python", "pyhton"))

Output: (anggaran) 0.83

Jarak Levenshtein untuk Padanan Kabur

Algoritma jarak Levenshtein (selalunya menggunakan pustaka python-Levenshtein) adalah penting untuk semakan ejaan dan padanan kabur.

Semakan ejaan:

import Levenshtein

def spell_check(word, dictionary):
    return min(dictionary, key=lambda x: Levenshtein.distance(word, x))

dictionary = ["python", "programming", "code", "developer"]
print(spell_check("progamming", dictionary))

Output: "programming"

Mencari rentetan yang serupa:

def find_similar(word, words, max_distance=2):
    return [w for w in words if Levenshtein.distance(word, w) <= max_distance]

print(find_similar("code", ["code", "coder", "python"]))

Output: ['code', 'coder']

ftfy untuk Pembetulan Pengekodan Teks

Pustaka ftfy menangani isu pengekodan, secara automatik mengesan dan membetulkan masalah biasa seperti mojibake.

Membetulkan mojibake:

import ftfy

text = "The Mona Lisa doesn’t have eyebrows."
fixed_text = ftfy.fix_text(text)
print(fixed_text)

Output: "The Mona Lisa doesn't have eyebrows."

Menormalkan Unikod:

weird_text = "Ｔｈｉｓ ｉｓ Ｆｕｌｌｗｉｄｔｈ ｔｅｘｔ"
normal_text = ftfy.fix_text(weird_text)
print(normal_text)

Output: "This is Fullwidth text"

Tokenisasi Cekap dengan spaCy dan NLTK

Tokenisasi adalah asas dalam NLP. spaCy dan NLTK menyediakan keupayaan tokenisasi lanjutan melebihi split() yang mudah.

Tokenisasi dengan spaCy:

import re

text = "Contact us at info@example.com or support@example.com"
email_pattern = r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b'
emails = re.findall(email_pattern, text)
print(emails)

Output: ['The', 'quick', 'brown', 'fox', 'jumps', 'over', 'the', 'lazy', 'dog', '.']

NLTK word_tokenize:

text = "The price is .99"
new_text = re.sub(r'$(\d+\.\d{2})', lambda m: f"€{float(m.group(1))*0.85:.2f}", text)
print(new_text)

Output: (Serupa dengan spaCy)

Aplikasi Praktikal & Amalan Terbaik

Teknik ini boleh digunakan untuk klasifikasi teks, analisis sentimen dan mendapatkan maklumat. Untuk set data yang besar, utamakan kecekapan memori (penjana), memanfaatkan berbilang pemprosesan untuk tugas terikat CPU, gunakan struktur data yang sesuai (set untuk ujian keahlian), susun ungkapan biasa untuk kegunaan berulang dan gunakan perpustakaan seperti panda untuk pemprosesan CSV.

Dengan melaksanakan teknik dan amalan terbaik ini, anda boleh meningkatkan kecekapan dan keberkesanan aliran kerja pemprosesan teks anda dengan ketara. Ingat bahawa amalan dan percubaan yang konsisten adalah kunci untuk menguasai kemahiran berharga ini.

---

101 Buku

101 Books, sebuah rumah penerbitan berkuasa AI yang diasaskan bersama oleh Aarav Joshi, menawarkan buku berkualiti tinggi dengan harga berpatutan berkat teknologi AI yang canggih. Lihat Kod Bersih Golang di Amazon. Cari "Aarav Joshi" untuk lebih banyak tajuk dan diskaun istimewa!

Ciptaan Kami

Pusat Pelabur, Pusat Pelabur (Bahasa Sepanyol/Jerman), Kehidupan Pintar, Zaman & Gema, Misteri Membingungkan, Hindutva, Elite Dev, Sekolah JS

---

Kami berada di Sederhana

Tech Koala Insights, Epochs & Echoes World, Investor Central Medium, Medium Misteri Membingungkan, Sains & Epochs Medium, Hindutva Moden

Atas ialah kandungan terperinci Teknik Python lanjutan untuk Pemprosesan dan Analisis Teks yang Cekap. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!