显存分配必须按32GB起步，否则effort=max直接OOM；实测Claude-Fable-5.1在effort=max下峰值显存占用30–34GB（FP16），8K输入+Adaptive thinking即触发暴涨，24GB卡两轮即被kill。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
显存分配必须按 32GB 起步，否则 effort=max 直接 OOM
实测下来，claude-fable-5-1 在 effort=max 下的峰值显存占用稳定在 30–34GB（FP16 推理），哪怕只喂入 8K token 输入，只要开启 Adaptive thinking，内部思维链展开就会触发显存暴涨。低于 32GB 的卡（比如 24GB 的 RTX 6000 Ada）跑两轮就可能被 kill。
建议直接按以下方式规划单卡实例：
- 单节点至少配 32GB 显存 GPU（如 L40、A100-40G、H100-80G），不建议用消费级显卡拼多卡做推理集群
- 若必须用多卡，优先选 NVLink 全互联拓扑，避免 PCIe 带宽成为 bottleneck（尤其在 1M context 场景下）
-
effort=low可压到 18GB 左右，但输出质量下降明显——不是“变慢”，而是逻辑链截断，慎用于生产 Agent 任务
anthropic-version 必须设为 2024-10-22，旧版本协议会丢掉 effort 和缓存控制
很多团队沿用 OpenAI 协议封装层或老版 Anthropic SDK，调用时仍发 anthropic-version: 2023-06-01。结果是：effort 参数被静默忽略，默认走 high；cache_control 字段被丢弃，缓存 TTL 全部退化为 5 分钟写 + 无读取复用。
验证方式很简单：
统一LLM网关 - 一个API对接70+AI模型，使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。
- 发一个带
"effort": "low"的请求，响应头里检查是否有x-anthropic-effort-used: low - 看响应 body 里
usage.cache_read_tokens是否大于 0（只有新协议才返回该字段） - 集群配置中所有 client-side SDK 必须显式指定
anthropic_version="2024-10-22"
缓存策略要拆成两级：短 TTL 写 + 长 TTL 读，否则 cache_read_tokens 几乎归零
Fable 5.1 的缓存机制不是“自动命中”，而是依赖显式声明和 TTL 匹配。如果所有请求都用 cache_control={"type": "ephemeral"}，那根本不会进可复用缓存池；如果统一设 ttl=3600（1 小时），又会导致冷数据长期占内存，实际读取率反而下降。
真实有效的做法是：
- 对高频重复 prompt（如系统指令、标准工具描述）用
cache_control={"type": "cache_write", "ttl": 3600} - 对用户 query + 固定 system prompt 组合，用
cache_control={"type": "cache_read"}，不设 TTL（由服务端按热度自动管理） - 禁用客户端主动设置
cache_read的 TTL，Fable 5.1 服务端对cache_read请求只认type，TTL 字段会被忽略甚至报错
长上下文不是“开箱即用”，需预切分 + 动态丢弃历史
1M token 上下文不等于你能塞进 1M token 的原始文档。实测发现，当输入含 >500K token 的 PDF 解析文本时，attention 计算延迟呈非线性上升，且 effort 越高，token 生成速度越慢（max_output_tokens=128000 也救不了）。
工程上更稳的解法是：
- 前置用
unstructured或pdfplumber提取语义块，按章节/表格/代码块切分，每块加metadata标识来源 - Agent 状态机里维护“活跃上下文窗口”，只把最近 3 轮交互 + 当前相关块注入模型，其余存向量库按需召回
- 绝对不要把整个 100 页技术文档 raw text 塞进 single request —— 不是爆显存，是爆 latency，P99 延迟直接破 120s
effort、cache_control 和上下文管理三者协同生效。这三个参数一旦错位，集群资源利用率会掉到 30% 以下，账单却照常走 effort=max + cache_write 的高价路径。 
