响应迟缓等问题可通过五步优化：一、启用提示词与模型缓存；二、切换异步工具调用并加结果缓存；三、启用相关性上下文压缩；四、配置vLLM模型服务后端；五、优化SQLite查询性能，包括FTS5索引与连接池。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您在使用Hermes Agent过程中出现响应迟缓、工具调用卡顿或界面无反应等现象，则可能是由于本地资源调度失衡、模型加载阻塞或上下文膨胀导致的运行时性能劣化。以下是解决此问题的步骤：
一、启用提示词与模型缓存机制
缓存可避免重复解析提示模板及反序列化大型语言模型权重，显著降低冷启动与高频调用延迟。启用后，相同提示或模型参数组合将直接复用内存中已加载实例。
1、打开agent/prompt_caching.py文件，将PROMPT_CACHING_ENABLED设为True。
2、在配置文件中设置CACHE_TTL = 3600，确保缓存有效期为1小时。
3、确认模型缓存目录具有写入权限，否则缓存写入失败将导致每次请求均重新加载模型。
4、验证日志中是否出现prompt cache hit或model loaded from memory map字样，表明缓存已生效。
二、切换至异步工具调用并启用结果缓存
同步工具调用会阻塞事件循环，尤其在HTTP请求、文件读写等IO密集型操作中引发明显卡顿；结果缓存则可跳过重复计算，直接返回历史响应。
1、在tools/registry.py中，将工具函数定义由def改为async def。
2、在所有工具调用处统一添加await关键字，确保协程正确挂起与恢复。
3、为高频工具（如web_search、file_read）添加@lru_cache(maxsize=128)装饰器。
4、检查输入参数哈希值是否稳定，避免因动态时间戳或随机ID导致缓存失效。
三、启用基于相关性的上下文压缩
未压缩的长对话上下文会迅速填满token窗口，迫使模型截断关键信息或反复重载历史片段，造成推理链路中断与响应抖动。
1、在配置文件中启用上下文压缩模块：context_compression: {enabled: true, strategy: "relevance_based", min_keep_tokens: 1000}。
2、确认agent/context_compressor.py中compress_context方法已被调用且返回非空压缩后文本。
3、若用于流式对话场景，将strategy临时改为"sliding_window"以保留最新三轮交互。
4、设置preserve_user_intent = True，强制保留用户原始指令不被压缩，避免意图丢失引发重试卡顿。
四、配置vLLM模型服务后端替代默认加载
vLLM通过PagedAttention与连续批处理技术大幅优化GPU显存利用率与吞吐量，可将单次推理延迟降低40%以上，尤其适用于多并发请求场景。
1、在environments/hermes_swe_env/default.yaml中，将model.type设为vllm。
2、根据GPU数量设置tensor_parallel_size，例如双卡环境设为2。
3、将gpu_memory_utilization设为0.9，防止显存碎片化引发OOM中断。
4、启动后检查日志中是否包含vLLM engine started及continuous batching enabled提示。
五、优化SQLite数据库查询性能
会话检索、技能匹配等高频操作若依赖全表扫描，会导致主线程长时间阻塞，表现为UI冻结或API超时。
1、在hermes_state.py中对核心查询语句添加EXPLAIN QUERY PLAN前缀，识别是否存在SCAN或USING TEMP B-TREE。
2、为conversations表启用FTS5虚拟表：CREATE VIRTUAL TABLE IF NOT EXISTS conversations USING fts5(task_id, content, timestamp, tokenize = 'porter unicode61')。
3、针对多条件过滤查询（如task_id = ? AND timestamp BETWEEN ? AND ?），创建复合索引：CREATE INDEX IF NOT EXISTS idx_conversations_task_time ON conversations(task_id, timestamp)。
4、确认数据库连接池配置中max_connections不低于CPU核心数 × 2 + 1，避免连接等待引发级联卡顿。
