Bagaimanakah Saya Boleh Mengeluarkan Ayat dengan Berkesan daripada Teks Menggunakan Ungkapan Biasa atau NLTK?

Mengekstrak Ayat menggunakan Ungkapan Biasa

Memisahkan teks kepada ayat menimbulkan beberapa kerumitan, terutamanya disebabkan oleh kehadiran singkatan dan noktah yang digunakan dalam ayat lain. konteks. Untuk menangani cabaran ini, kami meneroka pelbagai pendekatan.

Ungkapan Biasa

Pendekatan mudah menggunakan ungkapan biasa. Walau bagaimanapun, ungkapan biasa yang disediakan mungkin tidak mencukupi kerana ia gagal mengendalikan semua kehalusan dengan pasti, termasuk singkatan.

Natural Language Toolkit (NLTK)

Penyelesaian alternatif memanfaatkan NLTK, perpustakaan yang berkuasa untuk pemprosesan bahasa semula jadi. Tokenizer ayat NLTK, seperti yang ditunjukkan dalam coretan kod di bawah, menokenkan teks menjadi ayat dengan berkesan:

import nltk.data

# Load the English tokenizer
tokenizer = nltk.data.load('tokenizers/punkt/english.pickle')

# Read the text from a file
with open("test.txt") as fp:
    data = fp.read()

# Tokenize the text
sentences = tokenizer.tokenize(data)

# Print the tokenized sentences
print('\n-----\n'.join(sentences))

Dengan menggunakan teknik ini, seseorang boleh mengeluarkan ayat daripada teks dengan berkesan, malah yang mengandungi singkatan dan kemungkinan perangkap lain.

Atas ialah kandungan terperinci Bagaimanakah Saya Boleh Mengeluarkan Ayat dengan Berkesan daripada Teks Menggunakan Ungkapan Biasa atau NLTK?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!