要离线运行大语言模型，需先安装Ollama运行时，再拉取模型（如llama3.2或qwen2.5:7b），通过ollama run启动交互会话，或用ollama serve启用本地API服务，并可自定义模型路径与GPU资源。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您希望在个人电脑上离线运行大语言模型，但尚未配置本地推理环境，则可能是由于缺少 Ollama 运行时或模型未正确加载。以下是实现 Ollama 本地模型运行的具体方法：
一、安装 Ollama 运行时
Ollama 以原生二进制方式部署，不依赖 Docker 或虚拟机，直接集成系统服务，安装后即可通过命令行调用模型运行能力。
1、访问 https://ollama.com/download，根据您的操作系统（Windows/macOS/Linux）下载对应安装包。
2、Windows 用户双击 .exe 安装程序，按向导完成默认安装；macOS 用户可双击 .pkg 文件安装，或使用 Homebrew 执行：brew install ollama。
3、Linux 用户（如 Ubuntu）可在终端执行一键脚本：curl -fsSL https://ollama.com/install.sh | sh。
4、安装完成后，在终端输入 ollama --version，若输出类似 ollama version 0.3.12 的信息，则表示安装成功。
二、拉取并验证大模型
Ollama 内置模型仓库，所有模型以轻量级 GGUF 格式存储，支持自动下载、校验与缓存，无需手动转换权重或配置推理参数。
1、在终端中执行：ollama pull llama3.2，下载 Llama 3.2 系列模型（8B 参数版本）。
2、如需中文优化模型，可执行：ollama pull qwen2.5:7b 或 ollama pull phi3。
3、执行 ollama list 查看已下载模型列表，确认目标模型状态为 loaded 或存在本地缓存条目。
三、启动交互式模型会话
通过内置 REPL 环境，用户可直接与模型进行实时问答，无需编写代码或配置 API，适合快速测试与调试。
Qwen 视频智能分析基础客户端（免费版），基于 Qwen 3.5 Plus 多模态模型对本地视频进行内容分析，支持场景描述与基础内容理解，采用默认抽帧频率和提示词，适合快速概览视频，API Key 读取自 ~/.skill-platform/skill-platform.json 的 skills 配置。
1、在终端中输入：ollama run llama3.2，Ollama 将自动加载模型并进入交互模式。
2、看到 >>> 提示符后，键入任意问题，例如：“用 Python 写一个斐波那契数列生成器”。
3、按回车提交请求，模型将流式输出响应；输入 /bye 即可退出当前会话。
四、启用本地 API 服务对接外部应用
Ollama 默认提供兼容 OpenAI 格式的 RESTful 接口，允许 Python 脚本、前端页面或 curl 工具直接调用模型能力，实现与自有系统的集成。
1、在新终端窗口中执行：ollama serve，服务将默认监听 http://127.0.0.1:11434。
2、保持该终端运行，另开终端执行 curl 请求：curl http://localhost:11434/api/generate -d '{"model":"qwen2.5:7b","prompt":"你好"}'。
3、在 Python 中调用时，设置 client 初始化参数：base_url="http://localhost:11434/v1"，并任意填写 api_key（如 "ollama"）。
五、自定义模型路径与资源限制配置
当默认模型存储路径（如 Windows 的 C:\Users\{user}\.ollama\models）空间不足或需多用户隔离时，可通过环境变量重定向模型根目录，并控制 CPU/GPU 资源占用。
1、在系统环境变量中新增：OLLAMA_MODELS，值设为自定义路径（如 D:\ollama-models）。
2、重启终端与 Ollama 服务（Windows 可执行 net stop ollama && net start ollama）。
3、运行模型时添加资源约束参数：OLLAMA_NUM_GPU=1 ollama run qwen2.5:7b（仅限 NVIDIA GPU 环境）。
