必须先标注期望答案再分析，然后按原始资料→切分结果→检索候选→最终回答四层链路逐层排查，再交叉验证权限，最后用Prompt Playground验证模型理解能力。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
当用户反馈“知识问答没答对”时，必须区分是检索环节根本没召回相关内容，还是相关内容已召回但大模型生成阶段理解错误或幻觉——这两类问题的修复路径完全不同，不能混为一谈。
第一步：确认失败样本是否已标注期望答案
打开「知识问答评测」模块→选择对应业务场景的数据集→点击「新增样本」→填写真实用户问题、期望引用的原始文档名称（如《兴业证券融资融券业务操作指引_V3.2》）、具体段落位置（页码+标题）和标准答案文本。【未标注的样本无法判断召回是否成功，后续所有分析将失去基准】。
这一步操作起来很简单，直接把文件拖进去就行。但若跳过标注直接看返回结果，你永远不知道模型是“没找到”，还是“找到了却乱说”。
第二步：沿四层链路逐层检查内容流向
对任一失败问题，按顺序打开以下四个视图：
① 原始资料：在知识库管理后台定位该问题对应文档，用「预览解析文本」功能查看系统入库后的纯文本形态。重点检查表格是否错行、公式是否转义异常、页眉页脚是否混入正文、扫描PDF是否OCR失败导致整页空白。
② 切分结果：点击该文档右侧「查看切片」，观察问题相关段落是否被完整保留在同一chunk中。例如“保证金比例定义”与“适用情形说明”被切到两个chunk里，或“接口参数表”的表头与数据行分离，就属于典型断裂。
③ 检索候选：在问答调试面板中输入相同问题→展开「检索详情」→查看前10个召回chunk。若期望段落完全未出现，说明问题出在①或②；若它排在第7位且前6个均为无关制度条目，则需调优重排策略或查询改写规则。
④ 最终回答：点击候选chunk右侧「插入上下文」按钮，将该chunk原文粘贴进Prompt模拟生成。若此时模型仍输出错误答案，可确认为生成环节失效，应检查系统提示词约束力或更换更强推理模型。
第三步：用管理员账号与普通账号交叉验证
方法一：用管理员身份执行同一条问题检索→对比候选列表。若管理员能看到目标chunk而普通账号看不到，立即检查该chunk绑定的权限标签（如“投行部可见”“合规红线级”），确认当前用户所属组织架构与角色权限是否匹配。
方法二：在普通账号下打开「权限调试」开关→提交问题→查看日志中过滤器生效记录。【若日志显示“权限过滤移除37个chunk”，而目标chunk正在其中，说明问题不在检索而在权限控制层】。
第四步：快速验证是否为模型理解失效
直接复制检索环节已召回的正确chunk全文（含标题和上下文），粘贴至火山方舟「Prompt Playground」→选择同一款大模型→手动构造指令：“请严格依据以下材料回答问题：[粘贴内容]。问题：[原问题]”。
如果此时模型能给出正确答案，说明原始链路中检索无误，问题出在RAG上下文拼接逻辑或系统提示词压制不足；如果仍答错，说明该模型对当前领域术语或制度表述存在固有理解偏差，需切换模型或加强few-shot示例。
