必须构建三层微服务网关层：接入层（Spring Cloud Gateway）、路由层（自研Vert.x Router）、模型层（单Key Pod），实现统一鉴权、密钥轮转、流式兜底与双活密钥池，禁用直连、单体及硬编码密钥。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要让多个业务系统稳定调用Gemini API，同时避免密钥泄露、单点故障和配额挤占，必须放弃直连模式，转而构建一个具备负载均衡、熔断降级与统一鉴权能力的微服务网关层。
服务分层架构设计
将AI能力解耦为三层独立服务：接入层（API Gateway）、路由层（Router Service）、模型层（Model Adapter）。接入层只处理HTTPS请求与JWT校验；路由层负责密钥轮转、流量染色与失败转移；模型层封装Gemini SDK调用细节，每个实例绑定唯一API Key。这种分离使任一层故障不会导致全链路雪崩。
不采用单体部署——单体服务一旦OOM或GC停顿，所有AI请求将同步中断；也不共用同一进程内存空间——不同业务线的token消耗速率差异极大，混部会导致高优先级任务被低频长尾请求拖垮。
核心组件选型与部署
使用Spring Cloud Gateway作为接入层，它原生支持限流、重试、路径重写，且可热加载路由规则。禁用Zuul——其已进入维护模式，不支持WebSocket流式响应透传。
路由层选用自研轻量级Router Service，基于Vert.x构建，异步非阻塞IO模型能支撑万级并发连接。关键配置项必须外置到Nacos配置中心：【failover_strategy=weighted_round_robin】，确保备用密钥在主密钥配额耗尽时自动承接流量，而非全部打到同一备用密钥上引发二次限流。
模型层每个Pod仅加载一个Gemini API Key，并通过Kubernetes ConfigMap注入环境变量GEMINI_API_KEY。禁止将密钥硬编码进镜像或写入代码仓库——2026年Q1已有3起因Dockerfile泄露密钥导致的生产事故。
高可用保障机制实现
第一步：配置健康检查探针
在Kubernetes中为每个Model Adapter Pod定义livenessProbe，每15秒向/gemini/health发起GET请求。响应超时或返回非200状态码时，K8s自动重启容器。
第二步：启用双活密钥池
在Router Service中预置至少2组密钥：A组为主力池（含3个有效Key），B组为灾备池（含2个Key）。当A组单Key错误率连续5分钟＞15%时，自动将该Key标记为DEGRADED并切出流量；若A组整体不可用，则10秒内完成至B组的全量切换。
第三步：强制启用流式响应兜底
所有/generate_content_stream接口调用必须设置timeout=45s，且在Router Service中拦截非流式响应（如HTTP 200但Content-Type≠text/event-stream）。检测到非流式响应时，立即终止连接并触发告警——这说明后端Model Adapter未正确调用generate_content_stream方法，而是误用了同步generate_content。
权限与审计体系落地
方法一：基于OAuth2.0的细粒度授权
业务系统调用接入层时，必须携带由企业IDP签发的JWT。Gateway解析claims中的scope字段，例如scope=gemini:read:finance，则只允许访问finance命名空间下的模型实例，且拒绝上传文件类请求（POST /upload）。
方法二：API Key + 请求头签名双重验证
对无法集成OAuth2.0的遗留系统，要求其在X-Signature头中提供HMAC-SHA256签名，密钥由Nacos统一分发。签名原文为method+path+timestamp+nonce+body_hash，timestamp偏差超过300秒即拒收——防止重放攻击。
所有请求日志必须落盘至ELK栈，包含trace_id、user_id、model_name、input_tokens、output_tokens、response_time_ms、status_code。禁止记录原始prompt内容——【GDPR与《生成式AI服务管理暂行办法》第17条明确禁止存储用户输入的完整语义内容】。
灰度发布与监控看板配置
新版本Router Service上线前，先在测试集群运行72小时，确认error_rate＜0.02%、p95 latency＜800ms后，再通过Argo Rollouts执行金丝雀发布：首阶段仅放行5%流量，持续10分钟；无异常则扩至30%，观察15分钟；最终全量。任一阶段触发SLO告警（如5xx＞0.5%）即自动回滚。
在Grafana中新建AI中台看板，必须包含三组核心指标：① 每分钟各模型的request_count（按model_name与status_code分组）；② 各密钥的quota_remaining（从Google Cloud Billing API实时拉取）；③ WebSocket连接数与平均消息延迟（单位ms）。当quota_remaining＜1000时，触发企业微信机器人告警并自动创建Jira工单。
