如何在 Python 中高效解析固定宽度文件:结构模块与优化字符串切片?

DDD
发布: 2024-10-31 15:43:03
原创
530 人浏览过

How to Efficiently Parse Fixed Width Files in Python: Struct Module vs. Optimized String Slicing?

高效解析固定宽度文件

固定宽度文件由于其预定的列长度而提出了独特的解析挑战。找到从此类文件中提取数据的有效方法对于数据处理至关重要。

问题陈述

给定一个具有固定宽度线的文件,其中每列代表一个特定值,开发一种有效的方法将这些行解析为单独的组件。目前采用的是字符串切片,但对其可读性和对大文件的适用性存在担忧。

解决方案

提出了两种高效的解析方法:

方法1:使用struct模块

Python标准库的struct模块提供了一种从二进制数据流中解包数据的便捷方法。通过定义指定每个字段的宽度和类型的格式字符串,它可以与固定宽度文件一起使用。此方法既速度快又简单。

示例:

<code class="python">import struct

fieldwidths = (2, -10, 24)
fmtstring = ' '.join('{}{}'.format(abs(fw), 'x' if fw < 0 else 's') for fw in fieldwidths)

# Convert Unicode input to bytes and the result back to Unicode string.
unpack = struct.Struct(fmtstring).unpack_from  # Alias.
parse = lambda line: tuple(s.decode() for s in unpack(line.encode()))

print('fmtstring: {!r}, record size: {} chars'.format(fmtstring, struct.calcsize(fmtstring)))

line = 'ABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789\n'
fields = parse(line)
print('fields: {}'.format(fields))</code>
登录后复制

方法 2:在编译中使用字符串切片

虽然字符串切片看起来很简单,但可以通过使用 eval() 编译更高效的版本来提高其速度。此方法生成一个恒定的切片边界列表,因此执行速度更快。

示例(优化):

<code class="python">def make_parser(fieldwidths):
    cuts = tuple(cut for cut in accumulate(abs(fw) for fw in fieldwidths))
    pads = tuple(fw < 0 for fw in fieldwidths) # bool flags for padding fields
    flds = tuple(zip_longest(pads, (0,)+cuts, cuts))[:-1]  # ignore final one
    slcs = ', '.join('line[{}:{}]'.format(i, j) for pad, i, j in flds if not pad)
    parse = eval('lambda line: ({})\n'.format(slcs))  # Create and compile source code.
    # Optional informational function attributes.
    parse.size = sum(abs(fw) for fw in fieldwidths)
    parse.fmtstring = ' '.join('{}{}'.format(abs(fw), 'x' if fw < 0 else 's')
                                                for fw in fieldwidths)
    return parse</code>
登录后复制

两种方法都提供了高效的解析方法固定宽度文件。使用 struct 模块的方法 1 很容易使用,而使用优化字符串切片的方法 2 优化后性能稍好。

以上是如何在 Python 中高效解析固定宽度文件:结构模块与优化字符串切片?的详细内容。更多信息请关注PHP中文网其他相关文章!

来源:php.cn
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责声明 Sitemap
PHP中文网:公益在线PHP培训,帮助PHP学习者快速成长!