火山引擎边缘大模型网关支持统一配置路由、缓存与调用策略，通过控制台添加自部署模型、启用两级缓存、设置Header/路径路由及默认兜底，并提供调用链路与日志诊断能力。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
在火山引擎上管理模型服务，需通过边缘大模型网关统一配置路由、缓存与调用策略，确保业务请求能稳定命中正确的模型实例，避免因配置缺失或缓存失效导致服务中断。
添加自部署模型到网关
登录边缘大模型网关控制台（https://www.php.cn/link/44e9fe48896512b9a82b6caa9bed858f），在左侧导航栏选择【模型配置管理 → 大模型管理】。
切换至【自有三方模型】页签，点击【自部署模型】标签，再单击【添加模型】按钮。
填写模型名称（仅用于控制台展示）和调用名称（必须为字母、数字或下划线组合，后续API请求中 model 参数必须严格匹配该值）；【调用名称一旦保存不可修改，若填错将导致所有调用失败】。
输入模型服务的内网或公网访问地址（如 http://192.168.10.5:8000/v1/chat/completions），并选择协议类型（HTTP 或 HTTPS）。测试连接成功后，点击【确定】完成注册。
配置两级缓存提升可用性
网关默认启用两级缓存机制：第一级缓存由单个网关实例独占持有，响应速度最快；第二级缓存被所有网关实例共享，用于兜底容灾。
当业务请求到达时，网关优先在第一缓存中查询匹配的模型服务配置；若未命中，则自动降级查询第二缓存——这一步无需手动开启，系统默认启用。
你无法手动清空第二缓存，但可在控制台【缓存管理】页手动刷新第一缓存，适用于模型服务地址变更后立即生效的场景；【刷新第一缓存不会影响第二缓存中的旧配置，旧请求仍可能被错误路由】。
设置模型调用路由规则
方法一：基于请求头路由
在【路由规则】页面新建规则，选择“Header 匹配”方式，填写 Header 名称（如 x-model-type）和期望值（如 deepseek-r1-distill）。该规则生效后，所有携带此 Header 的请求将被强制转发至对应模型。
方法二：基于路径前缀路由
配置 path_prefix 为 /api/deepseek，网关会将所有以该路径开头的请求（如 /api/deepseek/chat）转发至指定模型服务。注意：路径前缀不支持通配符或正则，必须以 / 开头且不含查询参数。
方法三：默认模型兜底
在路由规则列表底部勾选【设为默认模型】，当所有规则均未匹配时，请求将交由此模型处理。一个网关实例同一时间只能有一个默认模型。
查看实时调用链路与异常日志
进入【监控告警 → 调用链路】页面，选择目标模型和时间范围，可查看每次请求的完整流转路径：从网关接入→缓存查询→模型服务转发→响应返回。
点击某条慢请求或失败请求的 trace_id，展开详情页，重点检查【Cache Hit】字段是否为 false，以及【Upstream Status】是否非200——这两项是定位 90% 路由失败问题的关键线索。
日志默认保留7天，若需长期归档，需提前在【日志管理】中配置 TOS 投递任务，否则过期后不可恢复。
