如何使用 Pandas DataFrame 高效执行笛卡尔积（CROSS JOIN）？

Pandas 的高性能笛卡尔积（CROSS JOIN）

在数据操作领域，笛卡尔积或 CROSS JOIN 是一种有价值的操作，它结合了两个或一对一或多对多基础上的更多 DataFrame。此操作通过为输入 DataFrame 中所有可能的元素组合创建新行来扩展原始数据集。

问题陈述

给定两个具有唯一索引的 DataFrame：

left = pd.DataFrame({'col1': ['A', 'B', 'C'], 'col2': [1, 2, 3]})
right = pd.DataFrame({'col1': ['X', 'Y', 'Z'], 'col2': [20, 30, 50]})

目标是找到计算这些 DataFrame 的笛卡尔积的最有效方法，结果如下输出：

  col1_x  col2_x col1_y  col2_y
0      A       1      X      20
1      A       1      Y      30
2      A       1      Z      50
3      B       2      X      20
4      B       2      Y      30
5      B       2      Z      50
6      C       3      X      20
7      C       3      Y      30
8      C       3      Z      50

最优解

方法1：临时键列

一种方法是临时分配一个“键”列两个 DataFrame 的共同值：

left.assign(key=1).merge(right.assign(key=1), on='key').drop('key', 1)

此方法使用合并来执行在“key”列上进行多对多 JOIN。

方法 2：NumPy 笛卡尔积

对于较大的 DataFrame，高性能的解决方案是利用 NumPy 的笛卡尔积实现：

def cartesian_product(*arrays):
    la = len(arrays)
    dtype = np.result_type(*arrays)
    arr = np.empty([len(a) for a in arrays] + [la], dtype=dtype)
    for i, a in enumerate(np.ix_(*arrays)):
        arr[...,i] = a
    return arr.reshape(-1, la)  

该函数从输入生成所有可能的元素组合

方法 3：广义 CROSS JOIN

广义解决方案适用于具有非唯一或混合索引的 DataFrame：

def cartesian_product_generalized(left, right):
    la, lb = len(left), len(right)
    idx = cartesian_product(np.ogrid[:la], np.ogrid[:lb])
    return pd.DataFrame(
        np.column_stack([left.values[idx[:,0]], right.values[idx[:,1]]]))

此方法根据 DataFrame 的笛卡尔积重新索引 DataFrame

增强的解决方案

方法 4：简化的 CROSS JOIN

对于具有非混合 dtypes 的两个 DataFrame，可以使用进一步简化的解决方案：

def cartesian_product_simplified(left, right):
    la, lb = len(left), len(right)
    ia2, ib2 = np.broadcast_arrays(*np.ogrid[:la,:lb])

    return pd.DataFrame(
        np.column_stack([left.values[ia2.ravel()], right.values[ib2.ravel()]]))

此方法使用广播和 NumPy 的ogrid 用于生成 DataFrame 索引的笛卡尔积。

性能比较

这些解决方案的性能因数据集大小和复杂性而异。以下基准提供了它们执行时间的相对比较：

# ... (Benchmarking code not included here)

结果表明，基于 NumPy 的 cartesian_product 方法在大多数情况下优于其他解决方案，特别是当 DataFrame 大小增加时。

结论

通过利用所提出的技术，数据分析师可以在 DataFrame 上高效地执行笛卡尔积，这是一种基本的方法数据操作和扩展的操作。这些方法即使在大型或复杂的数据集上也能实现最佳性能，从而实现高效的数据探索和分析。

以上是如何使用 Pandas DataFrame 高效执行笛卡尔积（CROSS JOIN）？的详细内容。更多信息请关注PHP中文网其他相关文章！