我們如何將沒有空格的文字拆分為單字清單？

將不含空格的文字拆分為單字清單

簡介

本文深入研究了將不帶空格的文字字串有效拆分為單字的複雜性有意義的單字清單。我們探索一種利用詞頻來獲得真實世界數據的準確結果的演算法。

演算法

演算法在單字獨立分佈的假設下運行，遵循齊普夫定律。這意味著在字典中遇到排名為「n」的單字的機率約為 1/(n log N)，其中 N 表示字典中單字的總數。

推論 的位置空間，我們採用動態規劃。我們定義了一個利用單字機率倒數對數的成本函數。最優句子最大化單字成本的乘積，可以使用動態規劃有效計算。

實作

以下 Python程式碼實作該演算法：

<code class="python">import math

words = open("words-by-frequency.txt").read().split()
wordcost = dict((k, log((i+1)*log(len(words)))) for i,k in enumerate(words))
maxword = max(len(x) for x in words)

def infer_spaces(s):
    cost = [0]
    for i in range(1,len(s)+1):
        c,k = best_match(i)
        cost.append(c)

    out = []
    i = len(s)
    while i>0:
        c,k = best_match(i)
        out.append(s[i-k:i])
        i -= k

    return " ".join(reversed(out))</code>

示範

使用提供的程式碼，我們可以分割不帶空格的文字字串並獲得有意義的單字：

s = 'thumbgreenappleactiveassignmentweeklymetaphor'
print(infer_spaces(s))

結果

演算法有效地推斷空格的位置，從而對短文本字串和長文本字串進行準確的單字辨識。即使沒有明確的分隔符，輸出也能保持高度的連貫性和可讀性。

優點

演算法具有以下優點：

• 準確的單字識別，即使沒有空格
• 高效的時間和記憶體消耗
• 大型文字資料集的易於實現和可擴展性

以上是我們如何將沒有空格的文字拆分為單字清單？的詳細內容。更多資訊請關注PHP中文網其他相關文章！