使用 Pandas DataFrames 执行笛卡尔积（CROSS JOIN）的最快方法是什么？

与 Pandas 的高性能笛卡尔积（CROSS JOIN）

简介

计算笛卡尔积，也称为 CROSS JOIN，两个或多个数据帧可能是数据分析中的关键操作。然而，找到计算此结果的最高效方法可能具有挑战性。本文将探讨各种技术并提供性能比较以确定最佳解决方案。

方法

1.使用临时“键”列进行多对多连接：

最直接的方法是将临时“键”列分配给具有相同值（例如 1）的两个 DataFrame，并执行使用合并在“键”列上进行多对多 JOIN。但是，此方法对于大型 DataFrame 可能存在性能限制。

2. NumPy 笛卡尔积：

NumPy 提供一维笛卡尔积的高效实现。其中一些实现可用于为 DataFrame 构建高性能的笛卡尔积解决方案。一个值得注意的例子是 @senderle 的实现。

3。非混合索引上的笛卡尔积：

此方法概括为适用于具有任何类型标量 dtype 的 DataFrame。它涉及计算 DataFrame 数字索引的笛卡尔积，并使用它来重新索引 DataFrame。

4。两个 DataFrame 的进一步简化：

仅处理两个 DataFrame 时，可以使用 np.broadcast_arrays 来实现与 NumPy 笛卡尔积解决方案类似的性能。

性能评估

具有唯一索引的合成 DataFrame 的基准表明使用 @senderle 的 cartesian_product 函数可以获得最佳的整体性能。然而，简化的 cartesian_product_simplified 函数在仅使用两个 DataFrame 时提供了几乎相同水平的性能。

结论

计算 DataFrame 的笛卡尔积的最佳方法取决于取决于各种因素，包括数据的大小和类型以及索引是否具有混合数据类型还是唯一的。根据性能基准，建议使用 @senderle 的 cartesian_product 函数以获得最佳性能，特别是对于大型 DataFrame 或使用多个 DataFrame 时。对于仅涉及两个具有非混合标量数据类型的 DataFrame 的情况，简化的 cartesian_product_simplified 函数提供了出色的性能。

以上是使用 Pandas DataFrames 执行笛卡尔积（CROSS JOIN）的最快方法是什么？的详细内容。更多信息请关注PHP中文网其他相关文章！