如何使用Huggingface Smollm建立個人AI助手

利用“設備” AI的力量：建立個人聊天機器人CLI

在最近的過去，個人AI助手的概念似乎是科幻小說。想像一下，科技愛好者亞歷克斯（Alex）夢想著一個聰明的本地AI伴侶 - 不依賴雲服務或外部服務器。多虧了小語言模型（SLM）的進步，Alex的夢想現在是現實。本文指導您使用Alex使用Huggingface的Smollm，Langchain的靈活性和Typer的用戶友好界面來創建AI CHAT CLI應用程序的旅程。您將建立一個功能性的AI助手，能夠在終端中聊天，回答問題和節省對話。讓我們來探索設備AI的世界！

關鍵學習目標：

• 掌握擁抱面Smollm型號的功能和應用。
• 利用SLM型號用於設備AI應用程序。
• 在SLM體系結構中探索分組的疑問注意力（GQA）。
• 使用TYPER和富圖書館開發交互式CLI應用程序。
• 將擁抱面模型與Langchain集成，以進行健壯的AI應用。

目錄：

• 引入HuggingFace Smollm
• 了解分組的疑問（GQA）
• 深入研究GQA
• 利用Smollm
• 探索泰珀
• 實施Typer
• 項目設置
• 構建聊天應用程序
• 常見問題

擁抱面Smollm：近距離看

Smollm是一系列尖端的小語言模型，有三種尺寸（135m，360m和1.7b參數）。這些模型接受了高質量的語料庫（Cosmopedia V2，綜合教科書，教育Python樣本和教育網絡數據）的培訓，這些模型以與常識性推理和世界知識相關的基準表現出色，根據擁抱面的大小類別中的其他模型優於其他模型。

性能比較：

主題分佈：

135m和360m的參數模型利用類似Mobillm的架構，結合了GQA並優先考慮深度超過寬度。

分組疑問（GQA）：效率重新定義

注意機制有多種形式：

• 多頭注意力（MHA）：每個頭部都有獨立的查詢，鑰匙和價值頭 - 計算昂貴。
• 多傳奇注意（MQA）：分享鑰匙和價值頭，但每個頭保持著自己的查詢 - 比MHA更有效。
• 分組質量注意（GQA）：小組注意力頭，分組中的鑰匙和價值頭部共享 - 優化速度和效率。將其視為一個合作的團隊，共享資源以提高生產率。

詳細了解GQA

GQA通過對注意力頭進行分組，在每個組中共享密鑰和價值頭來提高處理效率。這與傳統方法形成鮮明對比，每個方法都有自己的鑰匙和值。

主要注意事項：

• GQA-G：與G組的GQA。
• GQS-1：類似於MQA的單組情況。
• GQA-H：組的數量等於注意力頭的數量，類似於MHA。

GQA的好處：

• 提高速度：加工更快，尤其是在大型模型中。
• 提高效率：減少數據處理，節省內存和處理能力。
• 最佳平衡：在速度和準確性之間取得平衡。

與Smollm一起工作

使用PIP安裝Pytorch和變壓器：

 PIP安裝火炬變壓器

以下代碼段（將放置在main.py中）使用SMOLLM-360M教學模型（您可以適應其他尺寸）：

從變形金剛導入AutomodelForCausAllm，AutoTokenizer

checkpoint =“ huggingfacetb/smollm-360m構造”
＃...（與原始文章一樣的其餘代碼）

示例輸出：

（繼續使用其餘部分 - 型，項目設置，實現聊天應用程序以及FAQ - 遵循原始文章的結構和內容，調整措辭和句子結構，以改善流量和清晰度，同時保持原始含義。）

以上是如何使用Huggingface Smollm建立個人AI助手的詳細內容。更多資訊請關注PHP中文網其他相關文章！