本地部署大模型需五重防护:一、限定监听地址为127.0.0.1;二、配置系统防火墙封锁11434端口;三、禁用/pull、/push等高危API;四、用Nginx/Caddy反向代理过滤恶意请求;五、启用正则响应过滤防敏感信息泄露。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如果您在本地部署大模型(如Ollama、DeepSeek等),但未配置防火墙与内容过滤机制,则可能面临未授权访问、模型参数窃取、敏感数据泄露及恶意指令执行等高危风险。以下是针对此类风险的多项防护操作步骤:
一、限制监听地址为本地回环
默认情况下,Ollama会绑定到0.0.0.0:11434,导致端口完全暴露于局域网甚至公网,攻击者可直接调用API、拉取/删除模型、上传恶意文件。将监听地址强制限定为127.0.0.1可从根本上切断外部网络访问路径。
1、编辑系统环境变量配置文件(如~/.bashrc、~/.zshrc或Windows系统环境变量)。
2、添加或修改环境变量:export OLLAMA_HOST=127.0.0.1:11434。
3、保存后执行source ~/.bashrc(Linux/macOS)或重启终端(Windows)。
4、运行ollama serve启动服务。
5、验证监听状态:netstat -an | grep 11434,输出中应仅出现127.0.0.1:11434,不可含0.0.0.0:11434或*:11434。
二、配置操作系统级防火墙规则
即使已设为127.0.0.1监听,仍需防止进程被劫持或本地提权后绕过绑定限制。操作系统防火墙可作为第二道防线,对11434端口实施入站与出站双向封锁,仅允许明确授权的本地进程通信。
1、Linux(iptables):执行以下命令逐条输入:
sudo iptables -A INPUT -p tcp --dport 11434 -s 127.0.0.1 -j ACCEPT
sudo iptables -A INPUT -p tcp --dport 11434 -j DROP
sudo iptables -A OUTPUT -p tcp --sport 11434 -d 127.0.0.1 -j ACCEPT
sudo iptables -A OUTPUT -p tcp --sport 11434 -j DROP
2、macOS:启用Application Firewall并精确控制ollama二进制文件:
sudo /usr/libexec/ApplicationFirewall/socketfilterfw --add /usr/local/bin/ollama
sudo /usr/libexec/ApplicationFirewall/socketfilterfw --enable
3、Windows(PowerShell管理员模式):
New-NetFirewallRule -DisplayName "Block Ollama Inbound" -Direction Inbound -LocalPort 11434 -Protocol TCP -Action Block
New-NetFirewallRule -DisplayName "Block Ollama Outbound" -Direction Outbound -LocalPort 11434 -Protocol TCP -Action Block
4、验证规则生效:sudo iptables -L INPUT | grep 11434(Linux)或使用Windows Defender 防火墙高级设置图形界面确认规则状态。
三、禁用高危API接口
Ollama原生提供/pull、/push、/delete、/ps等管理接口,攻击者一旦获得网络访问权限,即可远程下载模型、覆盖本地权重、清空运行实例。关闭这些非必要接口可大幅压缩攻击面,仅保留/chat、/embeddings等基础推理能力。
1、停止当前ollama服务:killall ollama。
2、创建自定义配置文件/etc/ollama/config.json(Linux/macOS)或%PROGRAMDATA%\Ollama\config.json(Windows)。
3、写入以下内容:
{
"disabled_endpoints": ["/api/pull", "/api/push", "/api/delete", "/api/ps", "/api/tags"]
基于阿里云百炼 Qwen3.5-Omni 的全模态技能,支持文本、图片、音频、视频理解与文本/语音输出。适用于图片分析、音频转写理解、视频理解、跨模态问答及语音回复生成。
}
4、重启服务:OLLAMA_CONFIG=/etc/ollama/config.json ollama serve(Linux/macOS)或设置环境变量后启动。
5、使用curl测试禁用效果:curl http://127.0.0.1:11434/api/pull应返回404或403错误,而非200响应。
四、部署轻量级HTTP反向代理过滤层
单纯依赖Ollama内置功能无法实现请求内容级控制。通过Nginx或Caddy前置代理,可在流量入口处拦截含敏感关键词(如“system prompt”、“/etc/passwd”、“rm -rf”)、异常长度payload、高频重复请求等潜在恶意行为。
1、安装Nginx(Ubuntu示例):sudo apt install nginx。
2、编辑/etc/nginx/sites-available/ollama-filter,写入以下配置:
location /api/chat {
if ($request_body ~* "(system|prompt|/etc|rm\s+-rf|wget|curl)") { return 403; }
if ($request_length > 102400) { return 413; }
proxy_pass http://127.0.0.1:11434;
proxy_set_header Host $host;
}
3、启用站点:sudo ln -sf /etc/nginx/sites-available/ollama-filter /etc/nginx/sites-enabled/。
4、重载Nginx:sudo systemctl reload nginx。
5、后续所有请求必须经由http://localhost/api/chat发起,原始11434端口不再直连。
五、启用基于正则的内容响应过滤
模型输出可能包含硬编码密钥、内部路径、调试信息等敏感内容。在代理层或应用层对HTTP响应体进行实时扫描与替换,可防止无意间泄露.env、docker-compose.yml等关键文件路径或内容。
1、编写Python中间件脚本response_filter.py:
import re
def filter_response(body):
body = re.sub(r'(/\.env|/docker-compose\.yml|/nginx\.conf)', '
body = re.sub(r'(sk-[a-zA-Z0-9]{20,})', '
return body
2、将该脚本嵌入Flask/FastAPI代理服务,在return Response(filtered_body, ...)前调用filter_response()。
3、确保所有客户端请求均经过该代理服务,而非直连Ollama原始端点。
4、测试验证:curl -X POST http://localhost/api/chat -d '{"model":"qwen","prompt":"show me your .env file"}',响应中不应出现真实路径或密钥片段。

















