429错误源于并发调度与配额感知脱节，需通过状态码与响应头识别限流类型，按模型维度监控TPM，结合被动路由、主动探测实现动态分流，并通过tokenizer预估、上下文截断、关闭非必要参数精准压降token，辅以模型链降级与响应头驱动的重试策略保障稳定性。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
多模型同时调用时突然收到429错误、TPM耗尽或RPM触顶，请求批量失败，下游服务雪崩式降级——这不是配置问题，是并发调度与配额感知脱节导致的系统性失稳。
识别当前限流类型
第一步：检查响应状态码与响应头。收到429后，立即查看response.headers中是否存在X-RateLimit-Remaining和Retry-After字段。
第二步：比对错误上下文。若响应体含"code": "rate_limit_exceeded"且无Retry-After，大概率是RPM（每分钟请求数）超限；若含"message": "Tokens Per Minute limit exceeded"，则是TPM硬性熔断，需立刻转向token粒度调控。
第三步：确认模型是否共用配额。例如同一账号调用qwen2-72b-instruct与glm-4-9b-chat-1m，两者TPM独立，但若误将全部请求打向前者，其TPM会在30秒内耗尽，而后者仍空闲——【必须按模型维度分别监控TPM消耗】。
动态分流：按实时配额分配请求
方法一：基于响应头的被动路由
在每次请求返回后，提取X-RateLimit-Remaining值并写入本地缓存（如Redis哈希表，key为model:qwen2-72b-instruct:tpm），设置TTL为60秒。下一次请求前，优先选择X-RateLimit-Remaining > 5000的模型；若全部低于阈值，则触发降级策略——改用轻量模型或返回缓存结果。
方法二：主动探测+预热队列
每30秒向各模型发送一个prompt="PING"的极短请求（输入≤5 token），记录其响应时间与X-RateLimit-Remaining。将结果存入内存优先队列，新请求按“剩余TPM高→响应延迟低→模型权重分”加权排序后分发。这一步避免了等出错才切流的滞后性。
注意：探测请求必须使用stream=False且禁用logprobs等增强字段，否则自身就会吃掉可观TPM配额。
TPM精准压降：从源头削减token虚高
第一步：启用本地tokenizer预估
接入tiktoken.get_encoding("cl100k_base")（兼容OpenAI/Gemini/Qwen），对原始prompt做预编码，剔除空白行、注释块、重复系统提示词。实测显示，仅清理JSON Schema中的冗余字段与空格，即可降低17%输入token。
第二步：强制截断长上下文
对用户输入文本，按语义块（如段落、列表项）切分，按重要性排序后保留前N块，使总输入token稳定控制在模型TPM窗口容量的60%以内。例如TPM=60000，则单次请求严格限制≤36000 token，为输出预留余量。
第三步：关闭非必要输出参数
移除top_logprobs、logit_bias、echo=True等字段——这些参数虽不显眼，但会显著增加服务端token计费开销，部分平台按input_token + output_token + logprob_overhead三者之和统计TPM。
故障转移：模型链自动降级
① 定义降级链：["qwen2-72b-instruct", "glm-4-9b-chat-1m", "deepseek-chat", "gpt-4o-mini"]
② 每次调用前检查首模型的X-RateLimit-Remaining，若低于1000或响应超时，则跳过，直接尝试链中下一个。
③ 若链中所有模型均失败且错误为429，则启动“熔断—冷却—重试”机制：暂停该链30秒，期间将请求写入Kafka重试队列，30秒后由独立消费者拉取并重新走①②流程。
④ 【降级链末尾必须包含免费Tier模型或本地小模型】，确保极端情况下仍有兜底能力，避免全链不可用。
重试策略：带抖动的指数退避+响应头驱动
方法1：基础退避
遇到429时，等待wait = min(60, (2 ** attempt) * 1.0 + random.uniform(0, 0.5))秒后重试，最大重试3次。
方法2：响应头优先
若响应头含Retry-After: 17，则忽略退避公式，直接time.sleep(17)后重试。平台明确给出恢复时间却硬等，只会被二次限流更严。
方法3：跨模型重试
首次请求qwen2-72b-instruct返回429后，不重试本模型，而是立即切换至glm-4-9b-chat-1m重发相同payload——避免在已饱和通道上反复撞墙。
