2025年的前13個小語言模型（SLM）-Analytics Vidhya

今年，像OpenAI的O1這樣的緊湊型語言模型（CLM）引起了極大的關注，表明了令人印象深刻的自然語言處理能力。但是，許多應用程序不需要大型模型的巨大資源。輸入小型語言模型（SLM） - 高效，簡化的解決方案，非常適合預算意識的應用和有限的計算環境。

SLM平衡性能和效率。優化的體系結構和尺寸使它們非常適合需要快速推斷的邊緣設備，資源受限系統和應用程序。從為移動應用程序供電到提供離線NLP功能，這些模型正在民主化高級語言技術。

該博客探索了13個表現最佳的SLM。無論您是尋求輕量級解決方案的開發人員還是研究有效NLP的研究人員，該列表都表明較小的可能會更好。讓我們探討這些緊湊的模型如何產生重大影響。

目錄

• 多功能多任務性能（翻譯，摘要，問答）
  • T5
  • QWEN-2
  • 美洲駝3.2
  • Mistral Nemo
  • Mistral Small 3
• 以推理為中心的任務
  • O3米尼
  • PHI-4
• 文字生成
  • DISTILGPT-2
  • Smollm
• NLU一般（文本分類，情感分析，命名實體識別）
  • 微型
  • 莫比爾伯特
  • Microsoft Phi 3.5 Mini
  • Gemma 2
  • 蒂尼伯特
  • Distilbert
• 常見問題

要深入研究SLM，請參閱：什麼是小語言模型（SLM）？現在，讓我們檢查一下這13個領先的SLM。

多功能多任務性能（翻譯，摘要，問答）

T5

Google Research的T5（文本到文本傳輸變壓器）是一種使用統一的文本對文本框架的多功能模型，用於各種NLP任務（轉換，摘要，Q＆A）。

參數大小

T5提供各種尺寸，從T5-S-S-S-S-S-MALL（6000萬參數）到T5-11b（110億個參數），可滿足各種資源需求。

建築學

T5的變壓器體系結構使用編碼器和解碼器組件，通過將所有任務作為文本到文本問題來強調靈活性。在大型數據集上進行預培訓可以增強其理解。

可用性

T5是開源（Apache 2.0許可證），可通過TensorFlow和擁抱面訪問。

QWEN-2

QWEN-2是適用於各種應用的文本生成，分類和摘要方面有效的CLM。它的模塊化設計是約束硬件的理想選擇。

參數大小

QWEN-2有30億，70億和130億個參數版本，可為不同的應用提供可擴展性。

建築學

QWEN-2的高級變壓器體系結構使用旋轉位置嵌入等技術以及適應性的速度和穩定性。它的模塊化可確保適應性。

可用性

Qwen-2是開源的，具有一些可通過訂閱提供的高級功能。

美洲駝3.2

Llama 3.2優先考慮使用資源效率的高性能，使其適用於較低計算開銷的應用。

參數大小

Llama 3.2提供的版本範圍從13億到130億個參數，使用戶可以根據需求進行選擇。

建築學

Llama 3.2使用分組的查詢注意力，旋轉位置嵌入（繩索）和Swiglu激活來提高效率和性能。

可用性

Llama 3.2是開源的，具有免費的層和付費選項，可用於擴展功能和支持。

Mistral Nemo

Mistral Nemo是一種緊湊而有效的CLM，旨在高質量的語言理解和產生，強調表現和易於整合。

參數大小

Mistral Nemo有13億，70億和130億個參數版本。

建築學

Mistral Nemo的基於變壓器的體系結構使用優化的注意機制和增強的令牌嵌入，以有效的內存使用和吞吐量。

可用性

Mistral Nemo是開源的。

Mistral Small 3

Mistral Small 3處理大約80％的生成AI任務，具有適度的硬件要求。

參數大小

Mistral Small 3具有240億個參數，提供的性能與更大的模型相當。它可以部署在單個高端GPU或功能強大的筆記本電腦上。

建築學

Mistral Small 3使用的層少於競爭模型的低延遲性能。它可提供預訓練和指導調整的版本。

可用性

Mistral Small 3是開源（Apache 2.0許可證），可在擁抱臉，Ollama和Kaggle上使用。

以推理為中心的任務

O3米尼

O3-Mini是一種緊湊的模型，儘管參數計數減少了，但它適用於資源受限的設備。

參數大小

O3-Mini的參數計數大大減少了，可以在資源有限的設備上有效地操作。

建築學

作為OpenAI推理模型系列的一部分，O3 MINI支持文本輸入/輸出和可調節的推理級別。

可用性

O3-Mini可通過Chatgpt，OpenAI API，Microsoft Azure OpenAI服務和Open Router訪問。

PHI-4

微軟的PHI-4（140億個參數）在推理任務方面擅長計算效率。

參數大小

PHI-4的140億參數已針對推理效率和降低計算需求進行了優化。

建築和培訓

PHI-4的架構和培訓過程（包括合成數據生成和改進技術）增強了其推理能力。

可用性

PHI-4目前是專有的。

文字生成

DISTILGPT-2

Distilgpt-2是GPT-2的較小，更高效的版本，保留了大多數功能，同時大大降低了其尺寸。

參數大小

Distilgpt-2通常具有約8200萬個參數，而GPT-2顯著降低。

建築學

Distilgpt-2使用與GPT-2相似的變壓器架構，但通過知識蒸餾實現的層較少。

可用性

Distilgpt-2是開源的（擁抱的臉）。

Smollm

Smollm是一種輕巧的模型，旨在使用降低計算足蹟的有效NLP。

參數大小

Smollm提供各種尺寸，從1000萬到3億個參數。

建築學

Smollm使用基於變壓器的設計，具有修剪，量化和自適應計算方法的效率。

可用性

Smollm是開源的，具有免費的級別和付費選項。

NLU一般（文本分類，情感分析，命名實體識別）

微型

Microsoft的Minilm是使用知識蒸餾技術的緊湊而有效的模型。

參數大小

Minilm提供各種尺寸，從2200萬到3.84億個參數。

建築學

Minilm使用了深層的自我注意力學機制，並結合了知識蒸餾以從較大模型中傳遞性能。

可用性

Minilm是開源的（擁抱的臉，github）。

莫比爾伯特

Moberbert是BERT的輕量化改編版，專為資源約束設備而設計。

參數大小

洛夫伯特有大約2500萬個參數。

建築學

莫菲伯特使用瓶頸結構，倒瓶頸層和四倍的進料網絡，以提高效率。

可用性

洛夫伯特是開源的。

Microsoft Phi 3.5 Mini

Microsoft Phi 3.5迷你平衡效率和性能，以有限的資源來了解強大的自然語言理解。

參數大小

Phi 3.5 Mini有13億和30億個參數版本。

建築學

Phi 3.5 Mini的變壓器體系結構使用優化的注意機制來提高效率。

可用性

Microsoft Phi 3.5 Mini是專有的，集成到Microsoft Azure AI服務（免費和付費層）中。

Gemma 2

Gemma 2的設計用於有效的NLU和發電任務，平衡準確性和速度。

參數大小

Gemma 2提供了1.25億，3.5億和12億參數的版本。

建築學

Gemma 2使用具有動態注意力頭和層歸一化增強的流線型變壓器體系結構。

可用性

Gemma 2是開源（允許許可證），具有免費和高級選項。

蒂尼伯特

Tinybert是Bert的蒸餾版本，可降低計算複雜性和記憶足跡。

參數大小

Tinybert最小的版本約有1400萬個參數，而較大的版本的參數約為6600萬。

建築學

Tinybert使用類似的變壓器架構來BERT，但層較少，尺寸降低。

可用性

Tinybert是開源（Apache License 2.0），可通過擁抱的臉型變壓器訪問。

Distilbert

Distilbert是Bert的較小，更快且更輕的版本，保留了Bert的大部分錶現。

參數大小

Distilbert約有6600萬個參數。

建築學

Distilbert通過減少層數和採用知識蒸餾來簡化Bert的架構。

可用性

Distilbert是開源的（擁抱的臉型變壓器）。

結論

SLM通過提供性能，效率和可及性的平衡來徹底改變NLP。它們對資源受限環境的適用性使它們非常適合各種應用。開源和專有模型都在推動創新並擴大對先進語言技術的訪問。隨著AI採用的增長，SLM對於有效，包含的NLP縮放至關重要。

常見問題

Q1。小語言模型可以離線使用嗎？答：是的，他們的輕質性質允許在各種設備上離線部署。

Q2。小語言模型如何微調？答：使用較小的數據集，微型調整將預訓練的模型調整為特定任務。

Q3。小語言模型安全且私密嗎？答：當地部署可以增強安全性和隱私性，但實施細節至關重要。

以上是2025年的前13個小語言模型（SLM）-Analytics Vidhya的詳細內容。更多資訊請關注PHP中文網其他相關文章！