需穿透路由层、上下文管理、KV缓存分配和指标上报四层面实现租户隔离：路由层通过TenantRoutingFilter解析X-Tenant-ID并动态加载LoRA权重；上下文与缓存通过租户前缀键或vLLM多租户模式隔离；日志与指标按tenant_id标签分离；权重文件通过目录权限与user namespace严格管控。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
将Mistral AI的8x7B MoE模型以多租户方式部署为SaaS服务，需在共享推理资源的同时确保租户间模型权重、上下文、缓存、日志与API调用完全隔离。这不是简单起一个新进程，而是要穿透到路由层、上下文管理、KV缓存分配和指标上报四个关键面。
租户路由层配置：让每个请求命中专属模型实例
第一步：在网关层注入租户标识解析逻辑。使用Spring Cloud Gateway编写TenantroutingFilter，从HTTP Header中提取X-Tenant-ID，并将其写入Reactor Context；【若未校验X-Tenant-ID格式（如仅含字母数字与短横线），后续所有隔离将失效】
第二步：在模型服务入口处读取Reactor Context中的tenant_id，动态加载对应租户的LoRA适配器权重路径——例如tenant-a → /models/mistral-8x7b/tenant-a/lora.safetensors，tenant-b → /models/mistral-8x7b/tenant-b/lora.safetensors。
第三步：禁止任何全局共享的model.forward()调用。必须为每个租户构造独立的vLLM EngineArgs实例，显式指定enable_prefix_caching=False（防止跨租户缓存污染）和max_num_seqs=32（限制单租户并发数）。
上下文与KV缓存隔离：避免A租户看到B租户的对话历史
方法一：基于租户ID前缀的缓存键空间切分。在vLLM的SequenceGroupMetadata中，将block_table哈希值与tenant_id拼接生成唯一block_key，使不同租户即使输入token序列相同，也分配到不同物理GPU显存块。
方法二：启用vLLM 0.6.3+的multi-tenant cache mode。启动时添加--kv-cache-dtype fp16 --cache-block-size 16 --num-gpu-blocks 2048，并在EngineArgs中设置tenant_cache_enabled=True；该模式下每个租户独占一组GPU block table，无需修改核心调度逻辑。
注意：若使用方法一但未重写BlockManagerV1的allocate()方法，旧版vLLM会复用空闲block，导致租户间KV数据残留。
日志与指标分离：按租户聚合延迟、错误率与token消耗
① 在vLLM的RequestOutput回调中，注入tenant_id字段到structured log record，输出至Loki日志流，标签集为{tenant_id="acme-inc", model="mistral-8x7b"}；
② 修改Prometheus Exporter，在collect()函数内对每个GaugeVec指标（如vllm:generation_latency_seconds、vllm:num_prompt_tokens_total）追加tenant_id label；
③ 配置Grafana仪表盘时，强制所有查询带tenant_id过滤，禁用无label的all值聚合——否则运维人员将无法定位某租户突发的P99延迟飙升。
模型权重文件权限控制：物理层杜绝越权读取
将每个租户的LoRA权重文件存放在独立子目录下，如/mnt/models/tenant-a/adapter.bin，/mnt/models/tenant-b/adapter.bin；
运行vLLM worker进程时，使用Linux user namespace隔离：docker run --userns=host --user $(id -u tenant-a):$(id -g tenant-a) ...，并挂载只读bind mount：-v /mnt/models/tenant-a:/models:ro；
执行chown -R tenant-a:tenant-a /mnt/models/tenant-a && chmod 700 /mnt/models/tenant-a，【chmod 755或更高权限会导致其他租户进程可遍历目录结构】。
