秘塔AI搜索API翻页重复是服务端未校验page参数所致，需通过X-Metaso-Page-ID确认、添加时间戳参数、显式排序及会话Token绑定来解决，并用标题+摘要前50字符SHA256指纹截断重复流。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
用秘塔AI搜索API获取多页结果时，第二页开始反复出现第一页已返回过的文档ID、标题和摘要，导致你无法拿到真实的新数据，后续做去重或聚合分析直接失效。
确认是否真为翻页重复而非缓存污染
调用API后，先检查响应头中 【X-Metaso-Page-ID】 是否随 page 参数递增变化——若 page=2 时该值仍为“page_1_a7f3”，说明服务端根本没执行分页逻辑，而是复用了首屏缓存。这不是你代码的问题，是秘塔未校验 page 参数与会话上下文的绑定关系。
手动在浏览器打开同一请求URL（带 page=2 参数），对比返回的 JSON 中 “documents” 数组第一项的 “id” 字段与 page=1 时是否完全一致。一致即确认为服务端重复，不是客户端解析错误。
强制绕过缓存的三步参数加固
方法一：添加时间戳扰动参数
在原始请求URL末尾追加 【&t=1727555100】（当前Unix时间戳，精确到秒），每次翻页都重新生成新值。秘塔API对带 t 参数的请求默认跳过CDN缓存层，直连后端检索集群。
方法二：启用严格排序锚点
必须在请求体中显式传入 【"sort_by": "relevance", "sort_order": "desc"】，且不可省略 sort_order。缺省时秘塔会降级为随机打散排序，导致分页切片错位，看似翻页实则在抖动取样。
方法三：绑定唯一会话标识
首次请求时从响应头中提取 【X-Metaso-Session-Token】，后续所有 page≥2 的请求必须在 headers 中携带该值。没有它，服务端将视为全新会话，强制重置分页游标。
用文档指纹校验并截断重复流
第一步：对每页返回的 documents 数组，逐条计算 【title + snippet[:50] 的SHA256前8位】 作为轻量指纹。不要用全文哈希——秘塔返回的 snippet 是动态截断的，长度不固定。
第二步：维护一个全局 set 存储已见过的指纹。当某页中连续3条文档指纹命中该 set，立即终止后续翻页请求——这表示分页已彻底塌缩，再往后全是镜像副本。
第三步：把最后一页中首个未命中指纹的文档索引记为 break_index，只保留 documents[:break_index] 送入下游处理。这一步不能省，否则你写的“去重逻辑”实际在给重复数据二次赋值。
