讲师中心 微信公众号
AI工具推荐 视频效率加速

DeepSeek本地部署怎么做离线问答?

浅涛吖_7697

浅涛吖_7697

发布时间:2026-08-05 16:50:07

|

283人浏览过

|

来源于php中文网

原创

必须纯离线部署DeepSeek模型:①联网机导出依赖清单并下载wheel包;②下载校验模型压缩包;③离线机用Miniconda创建环境并本地安装;④Gradio或Ollama方式加载模型启动问答服务。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

deepseek本地部署怎么做离线问答?

要在无网络连接的电脑上运行DeepSeek模型并实现本地问答,必须绕过所有在线依赖环节,从环境、模型、UI到服务全部走纯离线路径——任何一步尝试联网都会导致部署失败或卡在下载阶段。

准备离线资源包(联网机操作)

这一步必须在有网的机器上完成,且不能跳过校验环节。直接复制粘贴命令即可执行:

① 创建隔离环境并导出纯净依赖清单:
conda create -n ds-offline python=3.10 && conda activate ds-offline && pip install torch==2.1.0+cu121 transformers==4.35.0 accelerate==0.27.2 gradio==4.39.0 && pip freeze > requirements.txt

② 批量下载wheel包(关键!必须加--no-deps避免递归联网):
pip download -r requirements.txt --no-deps --platform manylinux2014_x86_64 --python-version 310 --only-binary=:all: -d ./wheels

③ 下载模型压缩包:访问 Hugging Face 镜像站(hf-mirror.com),搜索 deepseek-ai/DeepSeek-R1-Distill-Qwen-7B,下载完整 .safetensors + config.json + tokenizer 的 tar.gz 包,命名为 deepseek-r1-7b-offline.tar.gz;【务必用 sha256sum 核对哈希值,否则解压后会报 model not found】

④ 将 ./wheels/ 目录和 deepseek-r1-7b-offline.tar.gz 一起打包成 offline-pkg.zip,拷贝至目标离线机的 /opt/deepseek/ 路径下。

离线机安装Miniconda与专用环境

不要复用系统Python,也不要调用conda默认源——所有包必须来自本地wheel。

下载 Miniconda3-latest-Linux-x86_64.sh(提前在联网机下载好)并执行:
bash Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/miniconda3

初始化conda并创建空环境:
$HOME/miniconda3/bin/conda init bash && source ~/.bashrc && conda create -n ds-local python=3.10 -y

激活后强制仅从本地安装:
conda activate ds-local && pip install --find-links ./wheels --no-index --upgrade --force-reinstall torch transformers accelerate gradio

加载模型并启动问答服务

方法一:用Gradio写最简推理脚本(推荐,无需额外UI软件)

解压模型到固定路径:
tar -xzf deepseek-r1-7b-offline.tar.gz -C /opt/deepseek/models/

Qwen Vision
Qwen Vision

利用通义千问视觉API(阿里云灵积)分析图像和视频,支持图像理解、OCR及视觉推理。

下载

新建 app.py,内容如下:

from transformers import AutoModelForCausalLM, AutoTokenizer
import gradio as gr
import os
os.environ["HF_HUB_OFFLINE"] = "1"
model = AutoModelForCausalLM.from_pretrained("/opt/deepseek/models/DeepSeek-R1-Distill-Qwen-7B", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("/opt/deepseek/models/DeepSeek-R1-Distill-Qwen-7B")
def respond(msg): return tokenizer.decode(model.generate(tokenizer.encode(msg, return_tensors="pt").to("cuda"))[0])
gr.ChatInterface(respond).launch(server_name="0.0.0.0", server_port=7860, share=False)

运行:
python app.py

方法二:用Ollama离线加载(需提前在联网机导出模型)

在联网机执行:
ollama create ds7b -f Modelfile
其中Modelfile内容为:
FROM /path/to/deepseek-r1-7b-offline.tar.gz
RUN chmod -R 755 /root/.ollama/models/blobs/
SAVE ds7b

导出为 ollama-ds7b.tar:
ollama save ds7b > ollama-ds7b.tar

在离线机导入:
ollama load

【注意:Ollama方式必须用ollama load命令导入,不能直接复制models目录,否则无法识别】

绑定内网地址供多设备访问

默认Gradio只监听127.0.0.1,局域网其他设备无法访问。修改app.py中launch参数:

gr.ChatInterface(respond).launch(
  server_name="0.0.0.0",
  server_port=7860,
  share=False,
  auth=("admin", "123456")
)

防火墙放行端口:
sudo ufw allow 7860

在同局域网的手机或另一台电脑浏览器中输入 http://[离线机IP]:7860 即可打开问答界面。

相关文章

AI工具
AI工具

AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型,支持联网搜索。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

相关专题

更多
DeepSeek官方入口
DeepSeek官方入口

DeepSeek,一个综合性的搜索引擎,提供来自学术数据库、新闻网站和社交媒体的广泛结果。访问 DeepSeek 的官方网站。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

38269

2025.02.17

deepseek在线提问
deepseek在线提问

本合集汇总了DeepSeek在线提问技巧与免登录使用入口,助你快速上手AI对话、写作、分析等功能。阅读专题下面的文章了解更多详细内容。

1089

2026.02.27

DeepSeek 入门与快速上手指南
DeepSeek 入门与快速上手指南

面向 AI 工具新手,从 DeepSeek 的账号注册、网页端与客户端使用讲起,介绍 DeepSeek-V3、DeepSeek-R1 等模型的能力定位与选择建议、对话提示词(Prompt)编写技巧、深度思考模式与联网搜索功能的使用场景、API Key 申请与首次接口调用流程,帮助用户快速上手 DeepSeek 并将其融入日常工作与学习。

2229

2026.05.12

DeepSeek API开发与应用集成教程合集
DeepSeek API开发与应用集成教程合集

系统讲解 DeepSeek 开放平台 API 的开发与集成方法,涵盖 API Key 鉴权与请求签名、Chat Completions 接口参数详解(temperature/top_p/max_tokens)、多轮对话上下文管理、流式输出(SSE Streaming)的前后端实现、Function Call 函数调用与外部工具对接、Embeddings 文本向量接口的使用、Python requests / openai SDK / J

351

2026.05.12

DeepSeek 提示词工程与高效使用教程合集
DeepSeek 提示词工程与高效使用教程合集

聚焦如何通过提示词工程充分发挥 DeepSeek 的能力上限,涵盖基础 Prompt 结构(角色/任务/格式/约束)设计、System Prompt 系统指令的最佳实践、Few-shot 示例引导与 Zero-shot 直接提问的场景选择、思维链(Chain of Thought)逐步推理引导、复杂任务的分步拆解策略、输出格式控制(JSON/Markdown/表格)、避免幻觉与提升准确率的约束技巧、DeepSeek-R1 深度推理模式的

407

2026.05.12

DeepSeek本地部署与私有化方案
DeepSeek本地部署与私有化方案

面向有数据隐私需求的开发者与企业,讲解 DeepSeek 开源模型的本地化部署方案,涵盖 DeepSeek-R1 各蒸馏版本(1.5B/7B/8B/14B/32B/70B)的硬件需求与能力对比、Ollama 一键本地运行与模型管理、vLLM 高性能推理服务部署、llama.cpp 量化推理(GGUF 格式/Q4/Q8 量化)在消费级显卡上的实践、Hugging Face Transformers 加载与微调、Docker 容器化部署、多

282

2026.05.12

DeepSeek行业应用场景实战
DeepSeek行业应用场景实战

以实际业务场景为导向,展示 DeepSeek 在不同行业中的落地应用方案,涵盖代码开发辅助(代码生成/审查/重构/单元测试编写)、长文写作与内容创作(报告/文案/论文大纲)、Excel 数据分析与可视化建议、智能客服机器人搭建(意图识别/多轮对话/知识库检索)、RAG 检索增强生成实现企业知识库问答、合同与法律文本审查、教育领域个性化辅导,帮助用户将 DeepSeek 转化为切实的生产力工具。

472

2026.05.12

DeepSeek 与主流 AI 大模型对比评测
DeepSeek 与主流 AI 大模型对比评测

从多个维度对 DeepSeek 与市场主流大语言模型进行客观对比,涵盖模型参数规模与架构差异(MoE 混合专家架构)、中文理解与生成能力对比、英文与多语言表现、数学推理与代码能力基准评测(MMLU/HumanEval/GSM8K)、长文本处理与上下文窗口对比、API 定价与性价比分析、响应速度与并发能力、开源生态与私有化部署灵活性,帮助用户根据自身需求在 DeepSeek、ChatGPT、Claude、Gemini、Llama 等模型中

225

2026.05.12

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

40

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
腾讯元宝使用手册
腾讯元宝使用手册

共0课时 | 0人学习

DeepSeek手册
DeepSeek手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn