さようならパンダ：Fireducksは、125倍のより速いパフォーマンスを提供します

ファイアードゥックでデータワークフローをスーパーチャージする：パンダよりも速いPythonライブラリ125x パンダが大規模なデータセットを処理するのを無限に待つことにうんざりしていませんか？ データサイエンスのペースの速い世界では、効率が重要です。 データセットが大きくなり、より複雑になるにつれて、処理ツールをより高速化する必要性が重要になります。 NECが開発した革新的なPythonライブラリであるFireducksは、パンダよりも最大125倍速い速度を導入するソリューションを提供します。 これにより、データサイエンティスト、アナリスト、開発者にとっても非常に貴重な資産になります。

目次

fireducksとは？

• パフォーマンスベンチマーク
• fireducks vs. Pandas：実用的な比較
• ステップ1：ライブラリのインポート
  • ステップ2：サンプルデータの生成
  • ステップ3：Fireducks DataFrameの作成
  • ステップ4：タイミングパンダの実行
  • ステップ5：タイミングfireducks execution
  • ステップ6：パフォーマンスの比較
  fireducksの重要な利点
• 有用なリソース
• よくある質問
fireducksとは？

Fireducksは、データ分析を合理化するために設計された高性能Pythonライブラリです。 高性能コンピューティングにおけるNECの広範な専門知識を活用すると、Fireducksは並外れた速度と効率を提供します。

燃えるような速度：

パンダの処理が最大125倍高速で達成されます。
• シームレスな互換性：おなじみのPandas APIを使用して、コードの変更を最小限に抑えます。
• インテリジェントな最適化：怠zyな評価を採用して、操作を最適化し、リソースを節約します。
パフォーマンスベンチマーク
• Fireducksのパフォーマンスは、さまざまなサイズのデータ​​セットでコアデータサイエンスオペレーション（参加やグループバイなど）を評価するベンチマークスイートであるDBベンチマークを使用して厳密にテストされました。 2024年9月10日の時点で、Fireducksは優れたパフォーマンスを実証し、GroupByのトップパフォーマーとしての地位を固め、大規模なデータセットで操作に参加しました。

詳細なベンチマークの結果については、

公式結果リンク

。

にアクセスしてください 包括的なベンチマークの詳細は、

ベンチマークの詳細リンク

。
• で入手できます fireducks vs. Pandas：実用的な比較
• 実際のシナリオを使用して、FireducksとPandasを比較しましょう。データをロードし、フィルタリングし、グループ操作を実行し、集計し、Fireducksの速度の利点を強調します。

  ステップ1：ライブラリのインポート

  import pandas as pd
  import fireducks.pandas as fpd
  import numpy as np
  import time

  ステップ2：サンプルデータの生成

  num_rows = 10_000_000
  df_pandas = pd.DataFrame({
      'A': np.random.randint(1, 100, num_rows),
      'B': np.random.rand(num_rows),
  })

  これにより、ランダムな整数（列 'a'）と浮動小数点数（列 'b'）を含む1,000万列のパンダデータフレーム（

  ）が作成されます。 df_pandasステップ3：Fireducks DataFrameの作成

  PANDASデータフレームはFireducks DataFrame（）に変換されます。

  df_fireducks = fpd.DataFrame(df_pandas)

  ステップ4：タイミングパンダの実行

  df_fireducks

  これは、Pandas DataFrameでのGroupBy操作にかかった時間を測定します。

  ステップ5：タイミングfireducks execution

  start_time = time.time()
  result_pandas = df_pandas.groupby('A')['B'].sum()
  pandas_time = time.time() - start_time
  print(f"Pandas execution time: {pandas_time:.4f} seconds")

  これは、Fireducksのデータフレームで同じグループ操作を実行し、実行時間を測定します。

  ステップ6：パフォーマンスの比較

  start_time = time.time()
  result_fireducks = df_fireducks.groupby('A')['B'].sum()
  fireducks_time = time.time() - start_time
  print(f"FireDucks execution time: {fireducks_time:.4f} seconds")

  これにより、パンダに対するファイヤードゥックの速度改善を計算して印刷します。
  fireducksの重要な利点

  speed_up = pandas_time / fireducks_time
  print(f"FireDucks is approximately {speed_up:.2f} times faster than pandas.")

  幅広いプラットフォームサポート：

  Linux、Windows（WSL経由）、およびMacOSでシームレスに動作します。
  楽な移行：
  おなじみのPandas APIは、スムーズな学習曲線を保証します。
  • 自動効率：怠zyな評価と自動最適化舞台裏のパフォーマンスを処理します。
  • 有用なリソース
  • 公式ドキュメント：fireducks docs
  githubリポジトリ：
  • fireducks github NYCデモノートブック：
  • nycデモノートブックリンク Twitter/x：
  • @fireducksdev 結論
  • Fireducksは、データ分析効率の劇的な改善を提供し、Pandasよりも最大125倍速い速度を達成します。 Pandas API、怠zyな評価、自動最適化との互換性により、大規模なデータセットを操作するデータプロフェッショナルにとって強力なツールになります。 よくある質問 Q1。 FireducksはPandasと互換性がありますか？ A.はい、同じAPIを使用しています。
  q2。 windowsでfireducksを使用できますか？

  A.はい、WSLを介して。

  q3。 FireducksはPolarsまたはDaskと比較してどうですか？

  Q4。 Fireducksは無料ですか？

  A.はい、限られた機能を備えた無料プランが利用可能です。有料プランは機能の拡大を提供します。

  を実際のリンクに置き換えることを忘れないでください

以上がさようならパンダ：Fireducksは、125倍のより速いパフォーマンスを提供しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。