Qwen-7B系列是中文场景下成熟度高、部署路径清晰的开源大语言模型。需配置CUDA 11.7与NVIDIA驱动≥535.86.10，用conda创建Python 3.10环境并安装PyTorch 2.0.1+cu117和vLLM 0.3.2，通过hf-mirror或Git LFS获取模型权重，启动vLLM服务后可用Streamlit搭建Web界面。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您希望在本地运行一个功能接近ChatGPT的开源大语言模型，Qwen-7B系列是当前中文场景下成熟度高、部署路径清晰的选择。以下是针对Qwen-7B模型（含Qwen-7B-Chat、Qwen2.5-7B-Instruct等主流变体）的安装与调优实操步骤：
一、环境准备与CUDA依赖配置
Qwen-7B模型依赖CUDA加速推理，需确保系统级GPU驱动与CUDA工具链版本严格匹配。Ubuntu 22.04为推荐操作系统，NVIDIA显卡驱动版本须≥535.86.10，否则vLLM或Transformers加载会失败。
1、执行命令检查当前驱动版本：nvidia-smi | grep "Driver Version"
2、卸载冲突的旧版CUDA包：sudo apt remove --purge '^nvidia-.*' '^cuda-.*'
3、下载并安装CUDA 11.7（适配PyTorch 2.0.1+cu117）：wget https://developer.download.nvidia.com/compute/cuda/11.7.1/local_installers/cuda_11.7.1_515.65.01_linux.run && sudo sh cuda_11.7.1_515.65.01_linux.run
4、将CUDA路径写入环境变量：echo 'export PATH=/usr/local/cuda-11.7/bin:$PATH' >> ~/.bashrc && echo 'export LD_LIBRARY_PATH=/usr/local/cuda-11.7/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc && source ~/.bashrc
二、Python环境隔离与核心库安装
为避免系统级Python包污染，必须使用conda创建独立环境，并精确指定PyTorch与推理框架版本。Qwen-7B在FP16精度下需约16GB显存，INT4量化后可降至8GB，本步骤默认按FP16配置。
1、安装Miniconda并初始化shell：wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh && bash Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/miniconda
2、创建专用环境并激活：source $HOME/miniconda/bin/activate && conda create -n qwen7b python=3.10 -y && conda activate qwen7b
3、安装匹配CUDA 11.7的PyTorch：pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --index-url https://download.pytorch.org/whl/cu117
4、安装vLLM推理引擎（推荐0.3.2版本，兼容Qwen-7B原生tokenizer）：pip install vllm==0.3.2
三、模型权重获取（双通道方案）
Qwen-7B官方权重托管于Hugging Face，但国内直连常因网络波动失败。提供两种稳定获取方式：镜像站加速下载与Git LFS离线拉取，二者互为备份。
用于在用户想通过浏览器自动化与 Google Gemini 或 ChatGPT 交互时。触发短语包括“ask Gemini”“ask ChatGPT”“ask GPT”“让...”。
1、方案一：使用hf-mirror镜像站（推荐）：huggingface-cli download --resume-download Qwen/Qwen-7B-Chat --local-dir ./qwen7b-chat --revision main --mirror https://hf-mirror.com
2、方案二：通过Git LFS克隆（需提前安装git-lfs）：git lfs install && git clone https://huggingface.co/Qwen/Qwen-7B-Chat && cd Qwen-7B-Chat && git lfs pull
3、验证模型完整性：ls ./qwen7b-chat/config.json ./qwen7b-chat/pytorch_model.bin.index.json（两个文件均存在即成功）
四、服务启动与基础参数调优
vLLM提供低开销API服务，支持动态批处理与PagedAttention，启动时需根据硬件显存设定max_num_seqs与gpu_memory_utilization，避免OOM崩溃。
1、启动vLLM服务（单卡RTX 4090，24GB显存）：python -m vllm.entrypoints.api_server --model ./qwen7b-chat --tensor-parallel-size 1 --max-num-seqs 32 --gpu-memory-utilization 0.9
2、发送测试请求验证服务可用性：curl http://localhost:8000/generate -d '{"prompt":"你好，通义千问","max_tokens":100}' -H "Content-Type: application/json"
3、关键调优参数说明：--temperature 0.7控制输出随机性；--top-p 0.9启用核采样；--presence-penalty 0.2抑制重复短语
五、Web交互界面部署（Streamlit方案）
为降低终端交互门槛，可快速搭建图形化聊天界面。Streamlit轻量且无需前端知识，仅需一个Python脚本即可完成本地Web服务。
1、安装Streamlit：pip install streamlit
2、创建app.py文件，写入以下内容：import streamlit as st; from vllm import LLM; llm = LLM(model="./qwen7b-chat"); st.title("Qwen-7B本地聊天"); prompt = st.text_input("请输入问题"); if prompt: st.write(llm.generate(prompt, sampling_params={"max_tokens": 200}))
3、启动Web界面：streamlit run app.py --server.port 8501
4、浏览器访问http://localhost:8501，即可开始多轮对话
