自適應分類器：透過智慧查詢路由降低 LLM 成本（已證明可節省成本）

令人興奮的消息！ 一個新的開源程式庫adaptive-classifier將徹底改變您的LLM部署成本最佳化。這個聰明的函式庫根據模型的複雜性在模型之間動態路由查詢，透過實際使用不斷學習和完善其路由策略。

我們對 arena-hard-auto 資料集的測試（使用高成本和低成本模型，成本差異為 2 倍）取得了顯著的結果：

• 啟用適應性後，成本顯著降低了 32.4%。
• 保持與基線相同的整體成功率 (22%)。
• 展示了令人印象深刻的學習能力，在評估過程中成功適應了 110 個新範例。
• 成功將 80.4% 的查詢引導至更經濟的模型。

這對於具有多個Llama 模型（例如Llama-3.1-70B 和Llama-3.1-8B）的環境來說是理想的選擇，在這種環境中，成本優化在不影響性能的情況下至關重要。 該庫與基於變壓器的模型無縫集成，並具有內建狀態持久性以提高效率。

探索儲存庫以取得實作細節和基準資料。我們熱切等待您試用後的回饋！

儲存庫 - https://www.php.cn/link/bbe2977a4c5b136df752894d93b44c72

以上是自適應分類器：透過智慧查詢路由降低 LLM 成本（已證明可節省成本）的詳細內容。更多資訊請關注PHP中文網其他相關文章！