21줄의 Python 코드로 맞춤법 검사기를 구현하는 방법

소개

Google이나 Baidu에서 검색할 때 Google은 검색 내용을 입력할 때 항상 매우 정확한 맞춤법 검사를 제공할 수 있습니다. 예를 들어 맞춤법을 입력하면 Google에서 이를 반환합니다. 즉시 철자.
다음은 21줄의 Python 코드로 구현된 간단하지만 완전한 기능을 갖춘 맞춤법 검사기입니다.

코드

import re, collections

def words(text): return re.findall('[a-z]+', text.lower()) 

def train(features):
    model = collections.defaultdict(lambda: 1)
    for f in features:
        model[f] += 1
    return model

NWORDS = train(words(file('big.txt').read()))

alphabet = 'abcdefghijklmnopqrstuvwxyz'

def edits1(word):
   splits     = [(word[:i], word[i:]) for i in range(len(word) + 1)]
   deletes    = [a + b[1:] for a, b in splits if b]
   transposes = [a + b[1] + b[0] + b[2:] for a, b in splits if len(b)>1]
   replaces   = [a + c + b[1:] for a, b in splits for c in alphabet if b]
   inserts    = [a + c + b     for a, b in splits for c in alphabet]
   return set(deletes + transposes + replaces + inserts)

def known_edits2(word):
    return set(e2 for e1 in edits1(word) for e2 in edits1(e1) if e2 in NWORDS)

def known(words): return set(w for w in words if w in NWORDS)

def correct(word):
    candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
    return max(candidates, key=NWORDS.get)

올바른 함수는 프로그램의 진입점이며, 철자가 틀린 단어가 전달되면 올바르게 반환됩니다. 예를 들면 다음과 같습니다.

>>> correct("cpoy")
'copy'
>>> correct("engilsh")
'english'
>>> correct("sruprise")
'surprise'

이 코드 외에도 머신러닝의 일환으로 당연히 대량의 샘플 데이터가 있어야 하는데 샘플 데이터로 big.txt가 준비되어 있습니다.

그 원리

위 코드는 베이지안을 기반으로 구현한 것인데, 사실 구글 바이두에서 구현하는 맞춤법 검사도 베이지안을 통해 구현되는데, 이보다 확실히 더 복잡합니다.
먼저 그 원리를 간략하게 소개하겠습니다. 이미 이해하신 분들은 이 부분을 건너뛰셔도 됩니다.
단어가 주어지면 가장 정확할 가능성이 있는 철자 제안을 선택하려고 합니다(제안은 입력된 단어일 수도 있음). 때때로 불분명하며(예를 들어, 지연을 늦은 것으로 수정해야 할까요, 아니면 가장 늦은 것으로 수정해야 할까요?) 확률을 사용하여 어느 것을 제안으로 사용할지 결정합니다. 원래 단어 w:

argmaxc  P(c|w)

와 관련된 가능한 모든 올바른 철자 중에서 가장 가능성이 높은 철자 제안 c를 찾습니다. 베이즈 정리를 통해 위 수식은 아래의

argmaxc P(w|c) P(c) / P(w)

로 변환될 수 있습니다. 위 수식의 의미:

1. P(c|w)는 w라는 단어를 입력할 때 원래 c라는 단어를 입력하려고 했을 확률을 나타냅니다.

2. P(w|c)는 사용자가 단어 c를 입력하고 싶지만 w를 입력할 확률을 나타내며 이는 주어진 것으로 간주할 수 있습니다.

3. P(c)는 표본 데이터에 단어 c가 나타날 확률을 나타냅니다.

4. P(w)는 표본 데이터에 w라는 단어가 나타날 확률을 나타냅니다. 표본 수
   의 확률은 P(w)가 모든 가능한 단어 c에 대해 동일한 확률을 갖는다고 판단할 수 있으므로 위 수식은

argmaxc P(w|c) P(c)

로 변환할 수 있습니다. 코드는 이를 기반으로 합니다. 공식은 특정 코드 구현에 대한 다음 분석에서 비롯됩니다

코드 분석

words() 함수를 사용하여 big.txt에서 단어를 추출합니다

def words(text): return re.findall('[a-z]+', text.lower())

re.findall('[a-z] +'는 Python 정규식 모듈을 사용하여 '[a-z]+'의 조건을 만족하는 단어, 즉 문자로 구성된 단어를 모두 추출합니다. (정규식은 자세히 소개하지 않습니다. 관심 있는 학생은 여기에서 정규 표현식을 읽어보세요. text.lower()는 텍스트를 소문자로 변환합니다. 즉, "the"와 "The"는 동일한 단어로 정의된 다음 train() 함수를 사용하여 숫자를 계산합니다. NWORDS[w]가 샘플에 단어 w가 나타나는 횟수를 나타내도록 적합한 모델

def train(features):
    model = collections.defaultdict(lambda: 1)
    for f in features:
        model[f] += 1
    return model
NWORDS = train(words(file('big.txt').read()))

를 훈련합니다. 샘플? 횟수는 기본적으로 1로 설정되며, 이는 컬렉션 모듈과 람다 표현식을 통해 구현됩니다. collections.defaultdict()는 기본 사전을 생성하고, 람다: 1은 기본적으로 이 사전의 각 값을 1로 설정합니다. 람다 표현식

이제 수식

에서 P(c)를 처리했으므로 다음으로 잘못 입력할 확률인 P(w|c)를 처리하겠습니다. "편집 거리"를 통해 단어 c를 입력하려는 경우 단어 w - 한 단어를 다른 단어로 변경하는 데 필요한 편집 횟수로 측정됩니다. 편집은 삭제, 교체(인접한 두 문자), 삽입, 다음 함수는 a를 반환합니다. c를 한 번 편집하면 얻을 수 있는 모든 가능한 단어 w의 집합:

def edits1(word):
   splits     = [(word[:i], word[i:]) for i in range(len(word) + 1)]
   deletes    = [a + b[1:] for a, b in splits if b]
   transposes = [a + b[1] + b[0] + b[2:] for a, b in splits if len(b)>1]
   replaces   = [a + c + b[1:] for a, b in splits for c in alphabet if b]
   inserts    = [a + c + b     for a, b in splits for c in alphabet]
   return set(deletes + transposes + replaces + inserts)

argmaxc P(w|c) P(c)관련 논문에 따르면 철자 오류의 80~95%는 단 한 번의 편집 거리에 불과합니다. 한 번의 수정만으로는 충분하지 않다고 생각되면 다시 수정해 보세요.

def known_edits2(word):
    return set(e2 for e1 in edits1(word) for e2 in edits1(e1) if e2 in NWORDS)

동시에 철자가 올바른 0번의 편집 거리가 있을 수 있습니다.

def known(words):
    return set(w for w in words if w in NWORDS)

1번의 편집 거리가 2번보다 훨씬 크고, 0번이 1번보다 훨씬 크다고 가정합니다. 다음으로, 올바른 함수를 사용하여 편집 거리가 가장 작은 단어를 먼저 선택하고 그 해당 P(w|c)는 후보 단어로 더 커질 것이며, P(c)가 가장 큰 단어를 후보 단어로 선택합니다

def correct(word):
    candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
    return max(candidates, key=NWORDS.get

.

위 내용은 21줄의 Python 코드로 맞춤법 검사기를 구현하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!