建立用於產品成分分析的多模式代理

用多模式AI代理解鎖產品成分的秘密！ 厭倦了解密的複雜成分列表？本文向您展示瞭如何使用Gemini 2.0，Phidata和Tavily Web搜索來構建功能強大的產品成分分析儀。 告別耗時的個人成分搜索，並向即時，可行的見解！

鍵學習成果

本教程將指導您通過：

設計多模式AI代理體系結構利用Phidata和Gemini 2.0進行視覺語言任務。

• 集成坦維利的Web搜索以在您的代理工作流程中進行增強的上下文和信息檢索。
• 構建產品成分分析儀代理，該代理將圖像處理和網絡搜索詳細搜索詳細的產品分析。
• 掌握製作有效系統提示和說明的藝術，以優化多模式場景中的代理性能。
• >開發一個用戶友好的簡化UI，以實時圖像分析，營養信息和個性化的健康建議。

>本文是數據科學博客馬拉鬆的一部分。 > 目錄的表

了解多模式系統

現實世界的多模式應用
多模式劑的力量
構建產品成分分析儀代理
基本鏈接
結論
常見問題
了解多模式系統

>多模式系統旨在同時處理和解釋多種數據類型，包括文本，圖像，音頻和視頻。諸如Gemini 2.0 Flash，GPT-4O，Claude Sonnet 3.5和Pixtral-12b Excel之類的視覺語言模型在識別這些模式之間的複雜關係，從而從復雜的輸入中提取了寶貴的知識。 本文重點介紹了分析圖像並生成文本解釋的視覺模型。 這些系統無縫將計算機視覺和自然語言處理融合，以根據用戶提示來解釋視覺信息。

現實世界多模式應用

多模式系統正在徹底改變各種行業：

財務：

>通過簡單地拍攝屏幕截圖即可立即理解複雜的財務條款。
• 通過拍攝產品標籤，> 電子商務：
獲得詳細的成分分析和健康見解。
• 教育：
獲得了教科書中復雜圖和概念的簡化解釋。
• 醫療保健：
>收到有關醫療報告和處方標籤的明確說明。
多模式劑的力量

>向多模式劑的轉變代表了AI相互作用的顯著進步。 這就是為什麼它們如此有效：

• >同時處理視覺和文本數據會導致更精確和上下文富裕的響應。
• 複雜的信息被簡化，使得更廣泛的受眾可以輕鬆訪問。
>用戶上傳單個圖像以進行綜合分析，消除了對手動成分搜索的需求。
結合Web搜索和圖像分析提供了更完整和可靠的見解。
• >

構建產品成分分析儀代理>

>讓我們逐步構建產品成分分析代理：>

步驟1：設置依賴項

> 我們需要：

gemini 2.0 Flash：用於強大的多模式處理。

>
• tavely搜索：用於無縫的Web搜索集成。
Phidata：編排代理系統並管理工作流程。 >
• 簡化：創建一個用戶友好的Web應用程序。
• 步驟2：API設置和配置

>

!pip install phidata google-generativeai tavily-python streamlit pillow

從：

獲取API鍵 Gemini API鍵：

https://www.php.cn/link/link/feacyc4a1c91eb74bfce13cb7c052c2c233b

tavily api鍵：

https://www.php.cn/link/link/c73ff6dceadef3652d678cd790ff167 >步驟3：系統提示和說明
• 明確的說明對於最佳LLM性能至關重要。 我們將定義代理人的角色和責任：

from phi.agent import Agent
from phi.model.google import Gemini # needs a api key
from phi.tools.tavily import TavilyTools # also needs a api key

import os
TAVILY_API_KEY = "<replace-your-api-key>"
GOOGLE_API_KEY = "<replace-your-api-key>"
os.environ['TAVILY_API_KEY'] = TAVILY_API_KEY
os.environ['GOOGLE_API_KEY'] = GOOGLE_API_KEY</replace-your-api-key></replace-your-api-key>

>

步驟4：定義代理對象>

> Phidata代理被配置為根據系統提示和說明進行處理和操作。 Gemini 2.0 Flash用作推理模型，並且集成了Tavily搜索以進行有效的Web搜索。

SYSTEM_PROMPT = """
You are an expert Food Product Analyst specialized in ingredient analysis and nutrition science. 
Your role is to analyze product ingredients, provide health insights, and identify potential concerns by combining ingredient analysis with scientific research. 
You utilize your nutritional knowledge and research works to provide evidence-based insights, making complex ingredient information accessible and actionable for users.
Return your response in Markdown format. 
"""

INSTRUCTIONS = """
* Read ingredient list from product image 
* Remember the user may not be educated about the product, break it down in simple words like explaining to 10 year kid
* Identify artificial additives and preservatives
* Check against major dietary restrictions (vegan, halal, kosher). Include this in response. 
* Rate nutritional value on scale of 1-5
* Highlight key health implications or concerns
* Suggest healthier alternatives if needed
* Provide brief evidence-based recommendations
* Use Search tool for getting context
"""

>

步驟5：多模式圖像處理

提供圖像路徑或URL以及提示來啟動分析。 使用兩種方法的示例在原始文章中提供了。

步驟6＆7：簡化Web應用程序開發

agent = Agent(
    model = Gemini(),
    tools = [TavilyTools()],
    markdown=True,
    system_prompt = SYSTEM_PROMPT,
    instructions = INSTRUCTIONS
)

（原始文章中的詳細代碼）

> 創建一個簡化的應用程序，以提供一個用戶友好的接口，以進行圖像上傳，分析和結果顯示。 該應用程序包括示例產品，圖像上傳和實時照片捕獲的選項卡。 圖像調整大小和緩存是為最佳性能實施的。

基本鏈接

完整代碼：[insert github鏈接在此處]

>部署的應用程序：[插入部署的應用鏈接在此處] >

結論

多模式A​​I代理正在改變我們與復雜信息的互動和理解的方式。 產品成分分析儀展示了將視覺，語言和網絡搜索相結合以提供可訪問的，可操作的見解的力量。

>常見問題

• Q1。開源多模式視覺語言模型：llava，pixtral-12b，多模式-GPT，NVILA和QWEN是示例。
• Q2。 Llama 3多模式嗎？ ：是的，Llama 3和Llama 3.2視覺模型是多模式的。
• Q3。多模式LLM與多模式代理： llm處理多模式數據；代理使用LLM和其他工具來執行任務並根據多模式輸入做出決策。
記住用實際的API鍵代替佔位符。 應添加完整的代碼和部署的應用鏈接，以獲取完整且功能指南。

以上是建立用於產品成分分析的多模式代理的詳細內容。更多資訊請關注PHP中文網其他相關文章！