FireDucks：以零學習成本獲得超越 pandas 的效能！

Pandas 是最受歡迎的庫之一，當我在尋找一種更簡單的方法來加速其性能時，我發現了 FireDucks 並對它產生了興趣！

與 pandas 的比較：為什麼選擇 FireDucks？

Pandas 程式可能會遇到嚴重的效能問題，這取決於其編寫方式。然而，作為一名數據科學家，我想花越來越多的時間分析數據，而不是提高程式碼效能。因此，如果它能夠執行諸如交換進程順序並自動加速程式效能之類的事情，那就太好了。例如，Process A => Process B 會比較慢，所以我們將其替換為 Process B => Process A。 （當然，結果保證是一樣的。）據說資料科學家花了大約他們 45% 的時間都在準備數據，當我考慮做一些事情來加速這個過程時，我遇到了一個名為 FireDucks 的模組。

從 FireDucks 文件來看，它似乎只支援 Linux 平台。由於我在我的主機上使用 Windows，所以我想從 WSL2（Windows Subsystem for Linux）嘗試一下，這是一個可以在 Windows 上運行 Linux 的環境。

我嘗試的環境如下

• 作業系統 Microsoft Windows 11 Pro
• 版本 10.0.22631 內部版本 22631
• 系統型號 Z690 Pro RS
• 系統類型基於 x64
• PC 處理器第 12 代 Intel(R) Core(TM) i3–12100、3300 Mhz、4 核心、8 個邏輯處理器
• 底板產品 Z690 Pro RS
• 平台角色桌面
• 安裝的實體記憶體 (RAM)64.0 GB

安裝和配置 FireDucks

安裝 WSL

WSL 是在以下 Microsoft 文件的幫助下安裝的； Linux 發行版是 Ubuntu 22.04.1 LTS。

安裝 FireDucks

然後實際安裝FireDucks。不過安裝起來非常簡單。
pip install fireducks

安裝 FireDucks（以及 pyarrow、pandas 和其他函式庫）需要幾分鐘時間。

我嘗試執行下面的程式碼，載入速度非常快，pandas 花了 4 秒，fireDucks 只花了 74.5 ns。

# 1. analysis based on time period and creative duration
# convert timestamp to date/time object
df['timestamp_converted'] = pd.to_datetime(df['timestamp'], unit='s ')

# define time period 
def get_part_of_day(hour): 
  if 5 <= hour < 12: 
    return 'morning'
  elif 12 <= hour < 17:
    return 'afternoon'
  else: 
    return 'evening'

# Add time period in new column 
df['part_of_day'] = df['timestamp_converted'].apply(lambda x: get_part_of_day(x.hour))

# Calculate average creative duration by time period 
df_ duration_by_time = df.groupby('part_of_day')['creative_duration'].mean() print(df_duration_by_time) 

# 2. campaign performance per different advertiser 
df_ campaigns_per_advertiser = df.groupby('advertiser_id')['campaign_id'].nunique() 
df_creatives_per_advertiser = df.groupby('advertiser_id ')['creatives_id'].nunique() 
print(df_campaigns_per_advertiser) 
print(df_creatives_per_advertiser)

# 3. language and website association 
df_common_website_ per_language = df.groupby('placement_language')['website_id'].apply(lambda x: x.mode()[0]) 
print(df_common_website_per_language) 

# 4. Analyze referrer information 
def extract_domain(referrer): 
  # if referrer is a float (e.g. NaN), return empty string 
  if isinstance(referrer, float): 
    return '' 
  # otherwise, extract domain name
  return referrer.split('/')[0] 

df['referrer_domain'] = df['referrer_deep_three'].apply(extract_domain) 
df_referrer_distribution = df['referrer_domain'].value_counts() 
print(df_referrer_distribution)

所有這些數據預處理和分析在 pandas 中大約需要 8 秒，而使用 FireDucks 時可以在 4 秒內完成。幾乎可以實現 2 倍的速度。

提高性能

使用pandas最有壓力的事情之一是載入大數據集時的等待，然後我必須等待像groupby這樣的複雜操作。另一方面，由於FireDucks進行惰性評估，加載本身根本不需要時間，因此在需要的地方進行處理，我覺得這非常重要，大大減少了總等待時間。

至於其他性能，據該組織官方宣布，與 pandas 相比，似乎已經實現了高達 16 倍的速度提升。 （下次我會與各個競爭庫進行效能比較。）

零學習成本

能夠遵循精確的 pandas 符號而無需考慮任何事情是一個巨大的優勢。除了FireDucks之外，還有其他資料幀加速庫，但它們學習成本太高，而且太容易被遺忘。

例如，如果你想加入有極座標的列，你必須這樣寫。

# pandas df["new_col"] = df["A"] + 1
# polars 
df = df.with_columns((pl.col("A") + 1).alias("new_col"))

幾乎不需要更改現有程式碼

我有幾個使用 pandas 的 ETL 和其他項目，如果僅透過安裝 FireDucks 並替換 import 語句就能看到效能改進，那就太好了。

如果您想進一步添加，請隨時在下面評論。

以上是FireDucks：以零學習成本獲得超越 pandas 的效能！的詳細內容。更多資訊請關注PHP中文網其他相關文章！