Python で固定幅ファイルを効率的に解析する方法: 構造体モジュールと最適化された文字列スライス?

固定幅ファイルの効率的な解析

固定幅ファイルには、あらかじめ決められた列長があるため、解析に特有の課題が生じます。このようなファイルからデータを抽出する効率的な方法を見つけることは、データ処理にとって非常に重要です。

問題ステートメント

ファイルに固定幅の行があり、各列が特定の値を表すとします。 、これらの行を個別のコンポーネントに解析する効率的な方法を開発します。現在、文字列スライスが採用されていますが、その可読性と大きなファイルへの適合性について懸念が生じます。

解決策

2 つの効率的な解析方法が提示されています:

方法 1: struct モジュールを使用する

Python 標準ライブラリの struct モジュールは、バイナリ データ ストリームからデータを解凍する便利な方法を提供します。各フィールドの幅とタイプを指定する書式文字列を定義することで、固定幅ファイルで使用できます。この方法は、速度とシンプルさの両方を実現します。

例:

<code class="python">import struct

fieldwidths = (2, -10, 24)
fmtstring = ' '.join('{}{}'.format(abs(fw), 'x' if fw < 0 else 's') for fw in fieldwidths)

# Convert Unicode input to bytes and the result back to Unicode string.
unpack = struct.Struct(fmtstring).unpack_from  # Alias.
parse = lambda line: tuple(s.decode() for s in unpack(line.encode()))

print('fmtstring: {!r}, record size: {} chars'.format(fmtstring, struct.calcsize(fmtstring)))

line = 'ABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789\n'
fields = parse(line)
print('fields: {}'.format(fields))</code>

方法 2: コンパイルで文字列スライスを使用する

文字列のスライスは簡単に見えるかもしれませんが、eval() を使用してより効率的なバージョンをコンパイルすることで速度を向上させることができます。このメソッドは、一定のスライス境界のリストを生成するため、実行が高速になります。

例 (最適化):

<code class="python">def make_parser(fieldwidths):
    cuts = tuple(cut for cut in accumulate(abs(fw) for fw in fieldwidths))
    pads = tuple(fw < 0 for fw in fieldwidths) # bool flags for padding fields
    flds = tuple(zip_longest(pads, (0,)+cuts, cuts))[:-1]  # ignore final one
    slcs = ', '.join('line[{}:{}]'.format(i, j) for pad, i, j in flds if not pad)
    parse = eval('lambda line: ({})\n'.format(slcs))  # Create and compile source code.
    # Optional informational function attributes.
    parse.size = sum(abs(fw) for fw in fieldwidths)
    parse.fmtstring = ' '.join('{}{}'.format(abs(fw), 'x' if fw < 0 else 's')
                                                for fw in fieldwidths)
    return parse</code>

どちらのメソッドも効率的な解析方法を提供します。固定幅ファイル。 struct モジュールを使用する方法 1 は使いやすいですが、最適化された文字列スライスを使用する方法 2 は、最適化するとパフォーマンスがわずかに向上します。

以上がPython で固定幅ファイルを効率的に解析する方法: 構造体モジュールと最適化された文字列スライス?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。