Python에서 NLTK를 사용한 단어 대체 및 수정

자연어 처리(NLP)를 이야기할 때 가장 중요한 작업 중 하나가 단어 교체와 수정입니다. 여기에는 형태소 분석, 표제어 분석, 철자 수정, 동의어와 반의어를 기반으로 한 단어 대체 등의 기술이 포함됩니다. 이러한 기술을 사용하면 검색 엔진, 챗봇 또는 감정 분석 등 텍스트 분석의 품질을 크게 향상시킬 수 있습니다. Python의 NLTK 라이브러리가 이러한 작업에 어떻게 도움이 되는지 살펴보겠습니다.

형태소 분석: 접미사 절단

형태소 분석은 단어에서 접미사를 제거하고 어근만 남기는 기술입니다. 예를 들어, "running"이라는 단어의 어근은 "corr"입니다. 이는 검색 엔진이 색인화해야 하는 단어의 양을 줄이는 데 유용합니다.

NLTK에서는 PorterStemmer를 사용하여 형태소 분석을 수행할 수 있습니다. 어떻게 작동하는지 살펴보겠습니다.

from nltk.stem import PorterStemmer

stemmer = PorterStemmer()
print(stemmer.stem("correndo"))  # Saída: corr
print(stemmer.stem("correção"))  # Saída: correc

여기서 형태소 분석은 접미사를 잘라내어 단어의 어근만 남기는 것을 확인했습니다. 이렇게 하면 단어의 변형에 대해 걱정하지 않고 단어의 주요 의미에 집중하는 데 도움이 됩니다.

표제어 분석: 기본 양식으로 돌아가기

형태소 분석은 형태소 분석과 유사하지만 접미사를 자르는 대신 단어를 기본 형태, 즉 기본형으로 변환합니다. 예를 들어 "실행 중"은 "실행"이 됩니다. 이는 단어의 문맥을 고려하기 때문에 형태소 분석보다 조금 더 똑똑합니다.

NLTK에서 표제어 추출을 수행하려면 WordNetLemmatizer를 사용합니다.

from nltk.stem import WordNetLemmatizer

lemmatizer = WordNetLemmatizer()
print(lemmatizer.lemmatize("correndo", pos='v'))  # Saída: correr
print(lemmatizer.lemmatize("correções"))  # Saída: correção

이 예에서는 lemmatize 기능을 사용하고 동사의 경우 품사(pos)를 'v'로 지정합니다. 이는 NLTK가 단어의 맥락을 더 잘 이해하는 데 도움이 됩니다.

대체를 위한 정규 표현식

가끔 텍스트의 특정 단어나 패턴을 바꾸고 싶을 때가 있습니다. 이를 위해서는 정규식(regex)이 매우 유용합니다. 예를 들어, 정규 표현식을 사용하여 "no"를 "no"로 확장하는 등의 표현을 사용할 수 있습니다.

NLTK를 사용하여 이를 수행하는 방법은 다음과 같습니다.

import re

texto = "Eu não posso ir à festa. Você não vai?"
expansoes = [("não", "não")]

def expandir_contracoes(texto, expansoes):
    for (contraido, expandido) in expansoes:
        texto = re.sub(r'\b' + contraido + r'\b', expandido, texto)
    return texto

print(expandir_contracoes(texto, expansoes))  # Saída: Eu não posso ir à festa. Você não vai?

이 예에서 Expand_contracoes 함수는 정규식을 사용하여 텍스트에서 약어를 찾아 바꿉니다.

마법부여로 맞춤법 검사

또 다른 중요한 작업은 맞춤법 교정입니다. 때로는 텍스트에 입력 오류나 철자 오류가 있는 경우가 있으며 이러한 오류를 수정하는 것은 텍스트 분석에 필수적입니다. pyenchant 라이브러리가 이에 적합합니다.

먼저 pyenchant 라이브러리를 설치해야 합니다.

pip install pyenchant

나중에 Enchant를 사용하여 단어를 수정할 수 있습니다.

import enchant

d = enchant.Dict("pt_BR")
palavra = "corrigindo"
if d.check(palavra):
    print(f"{palavra} está correta")
else:
    print(f"{palavra} está incorreta, sugestões: {d.suggest(palavra)}")

단어가 틀린 경우 인챈트가 수정을 제안합니다.

동의어 교체

단어를 동의어로 바꾸면 반복을 피하고 스타일을 개선하여 텍스트를 풍부하게 만들 수 있습니다. WordNet을 사용하면 동의어를 쉽게 찾을 수 있습니다.

이를 수행하는 방법은 다음과 같습니다.

from nltk.corpus import wordnet

def substituir_sinonimos(palavra):
    sinonimos = []
    for syn in wordnet.synsets(palavra, lang='por'):
        for lemma in syn.lemmas():
            sinonimos.append(lemma.name())
    return set(sinonimos)

print(substituir_sinonimos("bom"))  # Saída: {'bom', 'legal', 'ótimo', 'excelente'}

이 예에서 replacement_synonyms 함수는 해당 단어에 대한 동의어 목록을 반환합니다.

반대말 바꾸기

동의어와 마찬가지로 반의어도 특히 감정 분석과 같은 작업에 유용합니다. WordNet을 사용하여 반의어를 찾을 수 있습니다.

def substituir_antonimos(palavra):
    antonimos = []
    for syn in wordnet.synsets(palavra, lang='por'):
        for lemma in syn.lemmas():
            if lemma.antonyms():
                antonimos.append(lemma.antonyms()[0].name())
    return set(antonimos)

print(substituir_antonimos("bom"))  # Saída: {'mau', 'ruim'}

이 기능은 주어진 단어에 대한 반의어를 찾습니다.

실제 응용

이러한 기술의 실제 적용 사례를 살펴보겠습니다.

감성 분석

감정 분석에는 텍스트의 극성(긍정적, 부정적 또는 중립)을 결정하는 작업이 포함됩니다. 단어 교체는 이러한 분석을 향상시킬 수 있습니다.

texto = "Eu adorei o filme, mas a comida estava ruim."
palavras = word_tokenize(texto, language='portuguese')
polaridade = 0

for palavra in palavras:
    sinsets = wordnet.synsets(palavra, lang='por')
    if sinsets:
        for syn in sinsets:
            polaridade += syn.pos_score() - syn.neg_score()

print("Polaridade do texto:", polaridade)  # Saída: Polaridade do texto: 0.25 (por exemplo)

텍스트 정규화

텍스트 정규화에는 텍스트를 일관된 형식으로 변환하는 작업이 포함됩니다. 여기에는 철자 수정, 불용어 제거, 동의어 교체가 포함될 수 있습니다.

stopwords = set(stopwords.words('portuguese'))
texto = "A análise de textos é uma área fascinante do PLN."
palavras = word_tokenize(texto, language='portuguese')
palavras_filtradas = [w for w in palavras se não w in stopwords]

texto_normalizado = " ".join(palavras_filtradas)
print(texto_normalizado)  # Saída: "análise textos área fascinante PLN"

향상된 텍스트 검색

검색 엔진에서 동의어를 바꾸면 검색된 키워드에 동의어를 사용하는 문서를 찾아서 검색 결과를 향상시킬 수 있습니다.

consulta = "bom filme"
consulta_expandidas = []

for palavra em consulta.split():
    sinonimos = substituir_sinonimos(palavra)
    consulta_expandidas.extend(sinonimos)

print("Consulta expandida:", " ".join(consulta_expandidas))  # Saída: "bom legal ótimo excelente filme"

결론

이 텍스트에서는 Python의 NLTK 라이브러리를 사용하여 다양한 단어 대체 및 수정 기술을 살펴봅니다. 형태소 분석, 표제어 추출, 정규식을 사용하여 단어 대체, Enchant로 철자 수정, WordNet으로 동의어와 반의어 대체 방법을 살펴보았습니다. 또한 감정 분석, 텍스트 정규화 및 검색 엔진에 이러한 기술을 실제로 적용하는 방법에 대해서도 논의합니다.

이러한 기술을 사용하면 텍스트 분석의 품질이 크게 향상되어 결과가 더 정확하고 관련성이 높아질 수 있습니다. NLTK는 자연어 처리 작업을 수행하는 사람들을 위한 강력한 도구를 제공하며 이러한 도구를 사용하는 방법을 이해하는 것은 모든 NLP 프로젝트에 필수적입니다.

위 내용은 Python에서 NLTK를 사용한 단어 대체 및 수정의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!