如何使用 Pandas DataFrame 高效執行笛卡爾積（CROSS JOIN）？

Pandas 的高性能笛卡爾積（CROSS JOIN）

在資料操作領域，笛卡爾積或CROSS JOIN 是一種有價值的操作，它結合了兩個或一對一或更多對多基礎上的更多DataFrame。此操作透過為輸入 DataFrame 中所有可能的元素組合建立新行來擴展原始資料集。

問題陳述

給定兩個具有唯一索引的 DataFrame：

left = pd.DataFrame({'col1': ['A', 'B', 'C'], 'col2': [1, 2, 3]})
right = pd.DataFrame({'col1': ['X', 'Y', 'Z'], 'col2': [20, 30, 50]})

目標是找到計算這些 DataFrame的笛卡爾積最有效的方法，結果如下輸出：

  col1_x  col2_x col1_y  col2_y
0      A       1      X      20
1      A       1      Y      30
2      A       1      Z      50
3      B       2      X      20
4      B       2      Y      30
5      B       2      Z      50
6      C       3      X      20
7      C       3      Y      30
8      C       3      Z      50

最優解

方法1：臨時鍵列

一種方法是暫時指派一個「鍵」列兩個DataFrame的共同值：

left.assign(key=1).merge(right.assign(key=1), on='key').drop('key', 1)

此方法使用合併來執行在「key」列上進行多對多 JOIN。

方法 2：NumPy 笛卡爾積

對於較大的 DataFrame，高效能的解決方案是利用 NumPy的笛卡爾積實現：

def cartesian_product(*arrays):
    la = len(arrays)
    dtype = np.result_type(*arrays)
    arr = np.empty([len(a) for a in arrays] + [la], dtype=dtype)
    for i, a in enumerate(np.ix_(*arrays)):
        arr[...,i] = a
    return arr.reshape(-1, la)  

函數從輸入產生所有可能的元素組合

方法3：廣義CROSS JOIN

廣義解決方案適用於具有非唯一或混合索引的DataFrame：

def cartesian_product_generalized(left, right):
    la, lb = len(left), len(right)
    idx = cartesian_product(np.ogrid[:la], np.ogrid[:lb])
    return pd.DataFrame(
        np.column_stack([left.values[idx[:,0]], right.values[idx[:,1]]]))

此方法根據DataFrame 的笛卡爾積重新索引DataFrame

增強的解決方案

方法4：簡化的CROSS JOIN

方法4：簡化的CROSS JOIN

def cartesian_product_simplified(left, right):
    la, lb = len(left), len(right)
    ia2, ib2 = np.broadcast_arrays(*np.ogrid[:la,:lb])

    return pd.DataFrame(
        np.column_stack([left.values[ia2.ravel()], right.values[ib2.ravel()]]))

方法4：簡化的CROSS JOIN

方法4：簡化的CROSS JOIN

# ... (Benchmarking code not included here)

方法4：簡化的CROSS JOIN

對於具有非混合資料類型的兩個DataFrame，可以使用進一步簡化的解決方案：

此方法使用廣播和 NumPy 的ogrid 用於產生 DataFrame 索引的笛卡爾積。 效能比較這些解決方案的效能因資料集大小和複雜性而異。以下基準提供了它們執行時間的相對比較：結果表明，基於 NumPy 的 cartesian_product 方法在大多數情況下優於其他解決方案，特別是當 DataFrame 大小增加時。 結論透過利用所提出的技術，資料分析師可以在 DataFrame 上高效地執行笛卡爾積，這是一種基本的方法資料操作和擴展的操作。這些方法即使在大型或複雜的資料集上也能實現最佳效能，從而實現高效的資料探索和分析。

以上是如何使用 Pandas DataFrame 高效執行笛卡爾積（CROSS JOIN）？的詳細內容。更多資訊請關注PHP中文網其他相關文章！