Ollama默认单并发导致排队卡顿,需设OLLAMA_NUM_PARALLEL=2提升吞吐;嵌入模型必须设为1以防缓存失效;通过OLLAMA_MAX_QUEUE=256控队列长度,避免503或长延迟。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

当你发现Ollama服务在多个用户或脚本并发调用时响应变慢、卡顿甚至返回503错误,说明请求正在排队堆积——这不是模型算力不够,而是默认只允许1个请求同时执行,其余全被堵在队列里干等。
通过环境变量限制并发请求数
第一步:编辑Ollama系统服务配置文件
sudo systemctl edit ollama
第二步:在打开的空白文件中写入以下内容(注意缩进对齐):
[Service]
Environment="OLLAMA_NUM_PARALLEL=2"
第三步:重载并重启服务使配置生效
sudo systemctl daemon-reload → sudo systemctl restart ollama
这一步直接改的是Ollama底层的并发调度开关。设成2,就代表同一时间最多只有2个请求能真正进入推理阶段;第3个请求会立刻进入等待队列,不会被拒绝,但也不会抢占前两个的位置。值设太高会导致内存暴涨,尤其在CPU模式下——【OLLAMA_NUM_PARALLEL每增加1,内存占用约线性增长】。
控制排队长度,防止请求被丢弃
方法一:扩展等待队列容量
在刚才编辑的 [Service] 区块中,追加一行:
Environment="OLLAMA_MAX_QUEUE=256"
方法二:彻底禁用排队(慎用)
设为0:Environment="OLLAMA_MAX_QUEUE=0"
此时超出并发上限的请求会立即返回503 Service Unavailable,不排队也不等待。
默认队列长度是512,看起来很大,但如果你的客户端没有做重试退避,大量瞬时请求涌进来,队列仍可能被打满。设成256更可控,既避免爆满丢请求,又不至于让旧请求在队列里滞留太久。
按模型类型差异化限流
第一步:确认当前加载的模型类型
ollama list → 查看模型名称和大小,重点关注是否为嵌入类(如all-MiniLM-L6-v2)或大语言模型(如qwen3:14b)
第二步:对嵌入模型强制单并发
OLLAMA_NUM_PARALLEL=1 仅对该模型生效需配合模型别名或单独服务实例;更实用的做法是:启动时指定环境变量
OLLAMA_NUM_PARALLEL=1 ollama run all-minilm-l6-v2
嵌入模型本身极轻量,但内部向量化计算高度依赖CPU缓存局部性。并发开多了反而因核心间频繁切换导致L3缓存失效,实测响应时间可能变慢20%以上。所以【嵌入模型务必保持OLLAMA_NUM_PARALLEL=1】,这是性能拐点,不是保守选择。


















