大多数llm应用都会配备一个会话界面，支持用户与模型开展多轮交互，并具备一定的上下文感知能力。但需明确的是，模型本身并不具备真正的“记忆”能力——它无法主动保留历史信息，所有输出都严格依赖当前输入内容。因此，若想实现对话记忆功能，必须借助外部模块来持续追踪、存储并组织人机之间的交互记录，并在每次请求时将整理后的上下文完整注入prompt中，从而引导模型生成连贯响应。
为LLM添加基础记忆机制其实非常直接：只需在Prompt模板中预留chat_history占位符，将过往的Human与AI对话内容按顺序填充进去；同时，在每次交互后实时更新并持久化这些对话片段，确保下一轮请求能准确加载最新上下文即可完成最简化的记忆闭环。
流程如下：
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
常见记忆模式
依据如何将历史信息整合进Prompt，可将记忆策略划分为多种类型，包括：缓冲记忆、滑动窗口记忆、令牌限制记忆、摘要式记忆、摘要+窗口混合记忆、实体驱动记忆、向量检索记忆等。不同模式适用于各异的任务场景与资源约束条件。
1、缓冲记忆
这是最原始的记忆方式，即无差别地保存全部Human/AI对话消息，每次调用时将整个聊天日志作为上下文传入Prompt。通过显式提供历史对话，使模型能够理解当前提问所处的语义环境。只要未超出模型上下文长度限制，该方式可实现零信息损失的记忆效果。
优点：
- 完全保真，所有输入内容均被原样记录；
- 实现门槛极低，通用性强，适配所有主流大语言模型。
缺点：
- 随着对话轮次增加，Token消耗呈线性上升，显著拖慢推理速度并抬高使用成本；
- 当累计文本长度逼近或超过模型最大上下文窗口时，旧消息将被迫截断，导致记忆失效；
- 对上下文容量较小的模型而言，有效记忆深度极为有限。
2、滑动窗口记忆
该模式在缓冲记忆基础上引入固定大小的时间窗口（如最近k轮），仅保留最新若干组Human/AI交互对，超出窗口范围的历史自动丢弃。其本质是用时间局部性换取计算效率。
优点：
- Token占用可控且稳定，响应延迟低；
- 对轻量级模型友好，聚焦近期语义关联，通常表现稳健；
- 架构简洁，兼容性好，无需额外组件支持。
缺点：
- 无法回溯较早前的对话内容，存在明显的“短期失忆”现象；
- 若某条消息本身较长，仍可能单次突破上下文上限，引发截断风险。
3、令牌限制记忆
不同于按轮数裁剪，此方法以总Token数为硬性阈值（如max_tokens=4096），动态累积历史消息直至逼近上限，随后从最早处开始逐步剔除，保障整体输入始终处于安全范围内。
优点：
- 更贴合模型实际承载能力，内存分配更合理；
- 同样兼顾小模型适配性，避免因轮次误判导致超限；
- 实现清晰，性能稳定，广泛兼容各类LLM。
缺点：
- 依然受限于远期信息不可追溯的问题，长期上下文连续性弱。
4、摘要式记忆
不直接传递原始对话流，而是由辅助LLM定期对已有历史进行压缩提炼，生成高度凝练的摘要文本，并将其作为唯一上下文送入主模型。该策略特别适合处理超长会话，大幅缓解Token压力。
优点：
- 支持跨时段记忆（模糊但广域），兼顾短期精准与长期覆盖；
- 显著降低长对话中的Token开销，扩展可维护的对话轮次上限；
- 摘要增长速率随时间推移趋缓，在持续交互中展现出优于纯缓冲方案的可持续性。
缺点：
- 细节信息不可避免地被稀释或丢失，影响关键事实还原精度；
- 短对话初期反而可能因摘要生成引入冗余Token；
- 整体可靠性高度依赖摘要模型质量，需额外分配算力与预算，且缺乏对话长度兜底机制。
5、摘要+窗口混合记忆
融合上述两种思路：一方面保留最近几轮原始对话以保障即时准确性，另一方面将窗口外的历史逐段归纳为摘要并协同注入Prompt。清除策略也转向基于Token总量而非固定轮数，提升资源利用率。
优点：
- 实现“近精远概”的分层记忆结构，兼顾时效性与延展性；
- 在控制Token消耗的同时，显著延长有效记忆跨度。
缺点：
- 远期内容仍以摘要形式存在，细节保真度有限；
- 摘要环节依旧依赖专用LLM，带来额外开销与不确定性，且未设对话总长防护边界。
6、向量数据库记忆
将每轮对话（或其关键片段）编码为嵌入向量并存入专用向量库，每次请求前依据当前输入语义相似度检索Top-K相关历史片段，再拼接至Prompt中参与推理。该方式理论上支持无限记忆容量，细节还原能力介于缓冲与摘要之间。
优点：
- 记忆粒度优于摘要法，内容完整性更高；
- 可突破传统上下文长度限制，支持海量历史沉淀；
- Token消耗相对均衡，兼顾效率与表现。
缺点：
- 引入Embedding模型与向量数据库双重依赖，系统复杂度上升；
- 检索质量波动较大——优质检索可极大增强上下文相关性，而低质匹配则易引入噪声甚至误导模型。
