Pandas Apply 与 NumPy Vectorize：哪个创建新列更快？

Pandas Apply 与 NumPy Vectorize 在列创建中的性能

简介

而 Pandas ' df.apply() 是一个用于在数据帧上操作的多功能函数，它的性能可能是一个问题，特别是对于大型数据集。 NumPy 的 np.vectorize() 提供了一种潜在的替代方案，用于根据现有列创建新列。本文研究了两种方法之间的速度差异，解释了为什么 np.vectorize() 通常更快。

性能比较

广泛的基准测试表明 np.vectorize( ）始终明显优于 df.apply()。例如，在具有 100 万行的数据集中，np.vectorize() 在 2016 款 MacBook Pro 上速度提高了 25 倍。随着数据集大小的增加，这种差异变得更加明显。

底层机制

df.apply() 通过一系列 Python 级别的循环进行操作，这引入了重要的开销。每次迭代都涉及创建一个新的 Pandas Series 对象、调用该函数并将结果附加到新列。相比之下，np.vectorize() 利用 NumPy 的广播规则来评估数组上的函数。这种方法绕过了 Python 循环的开销，并利用了优化的 C 代码，从而加快了执行速度。

真正的向量化

对于真正的向量化计算，df.apply 都不是() 和 np.vectorize() 都不是最佳的。相反，本机 NumPy 操作提供了卓越的性能。例如，矢量化的 diverge() 比 df.apply() 或 np.vectorize() 显示出显着的性能优势。

使用 Numba 进行 JIT 编译

For为了获得更高的效率，可以使用 Numba 的 @njit 装饰器将 divide() 函数编译为高效的 C 级代码。这种方法进一步减少了执行时间，以微秒而不是秒为单位产生结果。

结论

虽然 df.apply() 提供了一个方便的接口来将函数应用于数据帧，对于大型数据集，其性能限制变得显而易见。对于性能关键型应用程序，NumPy 的 np.vectorize() 及其 Numba 中 JIT 编译的对应项为创建新列提供了卓越的速度。还值得注意的是，使用本机 NumPy 函数的真正向量化操作是大规模数据操作的最有效选择。

以上是Pandas Apply 与 NumPy Vectorize：哪个创建新列更快？的详细内容。更多信息请关注PHP中文网其他相关文章！