讲师中心 微信公众号
AI工具推荐 视频效率加速

扣子多模态智能体实战开发手册

冬磊姑娘_6625

冬磊姑娘_6625

发布时间:2026-06-08 06:58:19

|

638人浏览过

|

来源于php中文网

原创

要在扣子平台快速搭建多模态智能体,必须调用专用插件与模型:图像需启用DALL·E 3和CLIP并加约束提示;音频需启用Whisper/TTS或OpenClaw TTS Pro(须绑定API密钥);视频需启用VideoLLaMA(≥2.1.3)并配置工作流分支逻辑。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

扣子多模态智能体实战开发手册

要在扣子平台快速搭建能处理图像、音频、视频的多模态智能体,必须绕过纯文本思维定式,直接调用对应模态的专用插件与模型,否则生成结果将严重偏离预期。

创建支持图像理解与生成的智能体

第一步:进入扣子工作台→点击左上角⊕→选择「创建智能体」→在「AI 创建」输入框中明确写入“能看图识物并根据描述生成高清图片的助手”,系统会自动匹配多模态模型与图像插件。

第二步:进入编排页面后,检查中间「工具」面板是否已启用「文生图(DALL·E 3)」和「图生文(CLIP)」两个插件——【若未自动启用,必须手动勾选,否则后续所有图像交互均会返回错误】。

第三步:在左侧「人设与回复逻辑」中加入约束性提示词:“你必须先用图生文插件分析用户上传的图片内容,再决定是否调用文生图插件;禁止对未上传图片的请求直接生成图像”。这一步防止模型擅自虚构图像输入源。

接入音频类能力实现语音转文字与合成

方法一:使用内置语音插件

在「工具」面板中启用「语音识别(Whisper)」和「语音合成(TTS)」插件,然后在「人设与回复逻辑」中添加指令:“当用户发送语音消息时,优先调用Whisper转为文字再处理;当需要输出语音时,必须调用TTS插件生成MP3并以卡片形式返回”。

方法二:通过OpenClaw扩展高保真音色

前往「插件市场」搜索OpenClaw→安装「OpenClaw TTS Pro」→在技能配置中绑定自定义音色ID→注意:该插件需单独授权API密钥,【未完成密钥绑定前,所有语音合成请求将静默失败】。

构建视频理解与生成工作流

① 在「工具」面板中启用「视频理解(VideoLLaMA)」插件,并确认其版本号≥2.1.3(旧版本不支持短视频帧提取)。

② 新建一个「工作流模式」智能体,拖入「视频上传节点」→连接「视频理解节点」→再连接「文生视频(Runway Gen-3)」节点。

③ 设置分支逻辑:当视频时长<60秒且含人脸时,触发「人脸情绪分析」子流程;否则跳过。此判断必须放在视频理解节点之后,否则无法获取元数据。

④ 测试时上传MP4文件,观察右侧调试面板是否显示“video_duration: 47s, face_count: 2, emotion: neutral”——只有出现这类结构化输出,才代表视频理解链路打通。

热门AI工具

更多
立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
扣子智能体开发实操指南
扣子智能体开发实操指南

本专题面向开发者与产品同学,完整讲解扣子智能体Bot从零到一的搭建流程,包括Bot创建、提示词编写、插件接入、变量与记忆配置、调试与多渠道发布,帮助你打造属于自己的AI助手。

454

2026.06.05

扣子工作流全功能使用教程
扣子工作流全功能使用教程

本专题系统讲解扣子工作流的搭建逻辑与节点使用,覆盖LLM节点、代码节点、条件分支、循环节点与子工作流等核心能力,配合15个实战案例,帮助你用工作流把复杂业务流程自动化。

354

2026.06.05

扣子知识库零基础入门
扣子知识库零基础入门

本专题围绕扣子知识库与记忆系统,详细讲解知识库创建、文档上传、切片策略、向量召回、问答调优以及变量记忆与数据库的使用方法,帮助你打造高准确率的私有知识问答能力。

447

2026.06.05

FrankenPHP集成Laravel详细教程
FrankenPHP集成Laravel详细教程

本专题提供FrankenPHP集成Laravel的详细配置指南,全面解析运行原理、开发环境搭建、Caddyfile配置、Octane工作模式、数据库连接、队列任务、定时任务和生产环境优化,解决部署过程中常见的报错与兼容性问题。

0

2026.10.08

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

120

2026.09.30

LLVM RISC-V参数配置教程
LLVM RISC-V参数配置教程

本专题介绍LLVM对RISC-V基础ISA和扩展的支持方式,涵盖RV32、RV64、标准扩展、实验性扩展、厂商扩展、-menable-experimental-extensions和版本差异。

100

2026.09.30

LLVM IR中间表示入门指南
LLVM IR中间表示入门指南

本专题整理LLVM IR的核心概念,包括中间表示作用、模块结构、函数、基本块、SSA形式、类型系统和常见语法,帮助新手理解LLVM编译流程中的关键层。

80

2026.09.30

PDF转图片方法
PDF转图片方法

需要把 PDF 页面用于上传、预览、分享或图片归档时,PDF 转图片方法专题整理 JPG/PNG 格式选择、逐页导出、清晰度设置、批量下载和结果检查等流程,帮助用户稳定完成 PDF 图片化处理。

80

2026.09.30

PixTV AI视频生成与无限画布创作
PixTV AI视频生成与无限画布创作

PixTV专题整理AI视频与视觉内容创作相关功能使用教程,涵盖AI生图、视频生成、无限画布、多模型创作、素材管理、声音音乐及视频剪辑等功能,帮助用户快速掌握PixTV从创意到成片的完整制作方法。

100

2026.09.29

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
扣子入门级教程
扣子入门级教程

共0课时 | 272人学习

扣子官方文档
扣子官方文档

共0课时 | 0人学习

扣子官方文档
扣子官方文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn