Ollama可在Linux通过三种方式安装:官方脚本、包管理器或手动二进制部署;安装后拉取llama3等模型,启动服务并支持GPU加速与远程访问配置。

如果您希望在Linux系统上部署并运行Ollama大模型,需通过命令行完成安装、模型拉取与本地服务启动。以下是实现该目标的具体步骤:
一、通过官方脚本安装Ollama
此方法使用Ollama官方提供的curl脚本,自动检测系统架构并下载对应二进制文件,完成安装与服务注册。
1、打开终端,执行以下命令下载并运行安装脚本:
curl -fsSL https://ollama.com/install.sh | sh
2、验证安装是否成功:
ollama --version
3、检查Ollama服务状态:
systemctl --user status ollama
4、如服务未启用,手动启用并启动:
systemctl --user enable ollama && systemctl --user start ollama
二、使用包管理器安装(适用于Debian/Ubuntu)
该方式利用系统包管理工具安装预编译deb包,便于版本管理和依赖解析。
1、下载最新版.deb安装包(以v0.4.12为例):
wget https://github.com/ollama/ollama/releases/download/v0.4.12/ollama-debian-bookworm-amd64.deb
2、安装deb包:
sudo dpkg -i ollama-debian-bookworm-amd64.deb
3、修复可能缺失的依赖:
sudo apt-get install -f
4、重启用户级服务:
systemctl --user restart ollama
三、手动下载二进制文件安装
适用于无root权限或受限环境,通过直接获取静态链接二进制文件实现免依赖部署。
1、创建安装目录:
mkdir -p ~/bin && cd ~/bin
2、下载对应架构的二进制文件(如Linux x86_64):
curl -L https://github.com/ollama/ollama/releases/download/v0.4.12/ollama-linux-amd64 -o ollama
3、赋予可执行权限:
chmod +x ollama
4、将二进制文件加入PATH:
echo 'export PATH="$HOME/bin:$PATH"' >> ~/.bashrc && source ~/.bashrc
5、启动Ollama服务(前台运行,用于调试):
ollama serve
四、拉取并运行大模型
Ollama支持从其模型仓库快速拉取多种开源大模型,所有模型均以容器化方式本地加载并提供API接口。
1、拉取Llama 3 8B模型:
ollama pull llama3
2、拉取Phi-3-mini模型:
ollama pull phi3
3、启动交互式会话:
ollama run llama3
4、在另一终端中调用API测试:
curl http://localhost:11434/api/chat -d '{"model":"llama3","messages":[{"role":"user","content":"你好"}]}'
五、配置Ollama服务监听地址与GPU加速
默认Ollama仅绑定127.0.0.1,若需远程访问或启用CUDA/NVIDIA GPU推理,须修改环境变量与启动参数。
1、设置监听所有网络接口:
echo 'export OLLAMA_HOST=0.0.0.0:11434' >> ~/.bashrc && source ~/.bashrc
2、启用NVIDIA GPU支持(需已安装nvidia-container-toolkit):
echo 'export OLLAMA_NUM_GPU=1' >> ~/.bashrc && source ~/.bashrc
3、重启服务使配置生效:
systemctl --user restart ollama
4、确认GPU设备被识别:
ollama list 命令输出中应显示 "cuda" 或 "nvidia" 字样

















