如何在 Python 中高效解析固定寬度檔案:結構模組與最佳化字串切片?

DDD
發布: 2024-10-31 15:43:03
原創
530 人瀏覽過

How to Efficiently Parse Fixed Width Files in Python: Struct Module vs. Optimized String Slicing?

高效解析固定寬度檔案

固定寬度檔案由於其預定的列長度而提出了獨特的解析挑戰。找到從此類文件中提取資料的有效方法對於資料處理至關重要。

問題陳述

給定一個具有固定寬度線的文件,其中每列代表一個特定值,開發一種有效的方法將這些行解析為單獨的組件。目前採用的是字串切片,但對其可讀性和對大檔案的適用性有疑慮。

提出了兩種高效的解析方法:

方法1:使用struct模組

Python標準函式庫的struct模組提供了一種從二進位資料流解包資料的便捷方法。透過定義指定每個欄位的寬度和類型的格式字串,它可以與固定寬度檔案一起使用。此方法既速度快又簡單。

範例:

<code class="python">import struct

fieldwidths = (2, -10, 24)
fmtstring = ' '.join('{}{}'.format(abs(fw), 'x' if fw < 0 else 's') for fw in fieldwidths)

# Convert Unicode input to bytes and the result back to Unicode string.
unpack = struct.Struct(fmtstring).unpack_from  # Alias.
parse = lambda line: tuple(s.decode() for s in unpack(line.encode()))

print('fmtstring: {!r}, record size: {} chars'.format(fmtstring, struct.calcsize(fmtstring)))

line = 'ABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789\n'
fields = parse(line)
print('fields: {}'.format(fields))</code>
登入後複製

方法2:在編譯中使用字串切片

雖然字串切片看起來很簡單,但可以透過使用eval() 編譯更有效率的版本來提高其速度。此方法產生一個恆定的切片邊界列表,因此執行速度更快。

範例(最佳化):

<code class="python">def make_parser(fieldwidths):
    cuts = tuple(cut for cut in accumulate(abs(fw) for fw in fieldwidths))
    pads = tuple(fw < 0 for fw in fieldwidths) # bool flags for padding fields
    flds = tuple(zip_longest(pads, (0,)+cuts, cuts))[:-1]  # ignore final one
    slcs = ', '.join('line[{}:{}]'.format(i, j) for pad, i, j in flds if not pad)
    parse = eval('lambda line: ({})\n'.format(slcs))  # Create and compile source code.
    # Optional informational function attributes.
    parse.size = sum(abs(fw) for fw in fieldwidths)
    parse.fmtstring = ' '.join('{}{}'.format(abs(fw), 'x' if fw < 0 else 's')
                                                for fw in fieldwidths)
    return parse</code>
登入後複製

兩種方法都提供了高效率的解析方法固定寬度檔案。使用 struct 模組的方法 1 很容易使用,而使用最佳化字串切片的方法 2 優化後效能稍好。

以上是如何在 Python 中高效解析固定寬度檔案:結構模組與最佳化字串切片?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!