讲师中心 微信公众号

工具推荐

视频效率加速
剧云
剧云

中文短剧剧本制作平台

Laper
Laper

剧本策划到成片协作

AniShort
AniShort

AI短剧协同制作平台

updream

一键生成高质量推广成片

Atoms多模型同时调用同步执行实现方式

星杰大大_9463

星杰大大_9463

发布时间:2026-08-23 14:28:36

|

300人浏览过

|

来源于php中文网

原创

必须使用 CompletableFuture 并行调用多个已注册的 ModelClient 实例,共享同一 Prompt 对象,通过 allOf 等待全部完成并分别获取结果,确保输入一致性和同步响应。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

atoms多模型同时调用同步执行实现方式

要在同一请求中让多个大语言模型(如 deepseek-chat、deepseek-reasoner、qwen2.5-72b)并行响应、同步返回结果,必须绕过串行调用的天然延迟,构建真正共享输入、独立推理、统一收口的执行通路。

准备多模型客户端实例

启动前确认所有目标模型已通过 Spring AI 的 ModelClient 抽象完成注册。每个模型需绑定唯一 ID(如 deepseek-chat-v3、deepseek-reasoner-cot、qwen2.5-72b),且对应配置已加载至 ModelRegistry。若任一模型 ID 未注册,后续并发调用将直接抛出 ModelNotFoundException。

在 Spring Boot 启动类或 Configuration 类中,显式声明三个 ModelClient Bean,分别注入不同 model-id:

@Bean public ModelClient deepseekChatClient(ModelRegistry registry) { return registry.getClient("deepseek-chat-v3"); }

@Bean public ModelClient deepseekReasonerClient(ModelRegistry registry) { return registry.getClient("deepseek-reasoner-cot"); }

@Bean public ModelClient qwenClient(ModelRegistry registry) { return registry.getClient("qwen2.5-72b"); }

构造并行调用任务链

使用 CompletableFuture 批量提交异步请求,避免阻塞主线程。每个任务封装一次完整的 ModelClient.call() 调用,并携带完全相同的 Prompt 实例——这是保证输入一致性的关键前提。

第一步:创建共享 Prompt 对象,设置 system 和 user 消息内容,不修改任何模型专属参数;

第二步:对每个 ModelClient 调用 CompletableFuture.supplyAsync(() -> client.call(prompt)),生成三个独立 Future;

Atoms
Atoms

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

下载

第三步:用 CompletableFuture.allOf(f1, f2, f3).join() 等待全部完成;

第四步:用 f1.join()、f2.join()、f3.join() 分别获取结果,按模型 ID 映射为 Map 返回。

【必须确保所有 Future 共享同一个 Prompt 实例,而非各自 new 一个副本】 否则因 Prompt 内部 token 缓存或随机 seed 差异,可能导致微小输入偏移,破坏“同步执行”的语义一致性。

处理响应聚合与异常熔断

方法一:逐个 await 并收集结果

遍历三个 Future,对每个调用 get(15, TimeUnit.SECONDS) 设置超时。任一模型响应超时或失败,立即记录 warn 日志,但不中断其余任务——这是“尽力同步”的核心设计。

方法二:使用 allOf + thenApply 组合式编排

将三个 Future 封装进 allOf,再链式调用 thenApply 提取各结果。此方式天然支持函数式错误传播,但需手动 catch ExecutionException 并降级为 null 值占位。

方法三:引入 Resilience4j 的 Bulkhead 隔离

为每个模型 Client 配置独立线程池(如 deepseek-pool、qwen-pool),防止某模型高延迟拖垮整体吞吐。Bulkhead 配置必须启用 maxConcurrentCalls = 5,否则默认为 100,可能引发线程耗尽。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

相关专题

更多
Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

40

2026.11.06

Postman请求头Headers怎么设置
Postman请求头Headers怎么设置

围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。

20

2026.11.06

Postman接口请求发送教程
Postman接口请求发送教程

详细介绍Postman接口请求的创建与发送方法,涵盖GET和POST请求、URL配置、请求参数、Headers请求头、Body请求体设置以及响应结果查看,帮助用户掌握Postman接口请求的完整操作流程。

20

2026.11.06

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

40

2026.11.05

DBeaver安全防护教程大全
DBeaver安全防护教程大全

DBeaver安全防护专题,围绕数据库连接安全、账号密码保护和访问权限管理展开,整理SSL/TLS加密连接、SSH隧道、数据库凭据保存及证书验证等配置方法,同时介绍敏感信息保护、远程连接风险和高权限账号使用等注意事项,帮助用户提高数据库日常管理的安全性。

40

2026.11.05

DBeaver连接创建与配置教程
DBeaver连接创建与配置教程

本专题聚焦DBeaver数据库连接配置与管理,覆盖从新建连接、选择数据库类型到填写连接参数和验证连接的完整流程。针对MySQL、PostgreSQL、SQL Server等常见数据库,整理相应的连接设置方法,并提供驱动缺失、认证失败和连接异常等问题的排查方向。

40

2026.11.04

XORM框架结构体映射与表结构同步
XORM框架结构体映射与表结构同步

本专题围绕XORM框架的结构体映射展开,说明表名与字段的命名策略、xorm标签常用属性、主键自增与时间字段自动填充,并演示Sync2自动建表、增量字段升级、索引声明与反向生成结构体的完整流程。

40

2026.11.04

XORM框架安装配置与数据库连接
XORM框架安装配置与数据库连接

本专题聚焦XORM框架的配置与连接环节,拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择,讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式,并补充容器与兼容数据库的适配经验。

40

2026.11.04

XORM框架安装配置与数据库连接
XORM框架安装配置与数据库连接

本专题聚焦XORM框架的配置与连接环节,拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择,讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式,并补充容器与兼容数据库的适配经验。

0

2026.11.04

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
传智播客AJAX视频教程
传智播客AJAX视频教程

共31课时 | 7.2万人学习

php ajax快速入门视频教程
php ajax快速入门视频教程

共6课时 | 1.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn