RTX 4090可本地部署Qwen3-14B（148亿参数）FP8量化版，显存占用13.8–14.9GB；INT4量化支持更大模型如Qwen3.5-27B切分推理；vLLM和多实例隔离方案进一步提升显存利用率。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您尝试在单张NVIDIA RTX 4090（24GB显存）上本地部署通义千问开源模型，但不确定其参数量上限与实际运行条件，则可能是由于未区分量化精度、推理模式及框架优化层级所致。以下是针对该硬件平台的实测部署配置详解：
一、FP8量化下稳定运行的最高参数量模型
Qwen3-14B原生支持FP8权重格式，经Ollama+WebUI实测，在Ubuntu 22.04 + CUDA 12.2 + Driver 535环境下，加载后显存占用为13.8GB；开启128k上下文会话时峰值仅14.2GB。这意味着FP8量化版Qwen3-14B（148亿参数）可在RTX 4090上全速稳定运行，无需降频或换页。
1、确认显卡驱动版本：执行nvidia-smi，确保Driver ≥ 535。
2、安装CUDA 12.2与cuDNN 8.9，验证nvcc --version输出为12.2。
3、使用Ollama拉取FP8镜像：ollama run qwen3:14b-fp8。
4、启动Ollama-WebUI，访问http://localhost:3000进行流式响应测试。
二、INT4量化支持的更高参数量模型
通过ExLlamaV2或llama.cpp后端加载INT4量化权重，可进一步压缩显存占用。DeepSeek-R1-14B在INT4下显存需求降至7GB，为更大模型腾出空间；而Qwen3.5-27B虽需4×24GB显存，但单卡INT4切分后部分层可驻留于4090中用于混合精度推理。
1、下载已转换的INT4 GGUF格式模型文件（如qwen3-14b.Q4_K_M.gguf）。
2、使用llama.cpp的main可执行文件启动：./main -m qwen3-14b.Q4_K_M.gguf -n 512 -t 16。
3、设置线程数为16以匹配4090的SM调度能力，并启用-ngl 99将全部层卸载至GPU。
4、观察nvidia-smi输出，确认显存占用稳定在≤22GB范围内。
三、双模式推理对显存的实际影响
Qwen3-14B提供Thinking与Non-thinking两种推理路径：前者生成<think>链式中间步骤，后者跳过推理链直接输出。实测显示，Thinking模式下KV Cache增长导致显存峰值达14.9GB，但仍低于24GB阈值；Non-thinking模式则控制在14.6GB以内，更适合高并发场景。
1、在Ollama-WebUI设置中启用“Thinking Mode”开关。
2、输入含数学推导的提示词（如“求解x²+2x−8=0的根，并展示每一步”）。
3、对比同一输入在两种模式下的显存波动曲线（通过watch -n 1 nvidia-smi监控）。
4、若需部署多实例，优先采用Non-thinking模式并限制max_tokens≤256。
四、长上下文场景下的显存动态分配策略
Qwen3-14B支持128k原生上下文，但实际显存占用并非线性增长。vLLM的PagedAttention机制可将KV Cache按token分页管理，使131k token会话显存增量仅+0.4GB。Ollama默认未启用该机制，需手动切换至vLLM后端。
1、卸载当前Ollama模型：ollama rm qwen3:14b-fp8。
2、安装vLLM 0.4.0：pip install vllm==0.4.0，并编译CUDA扩展。
3、启动vLLM服务：python -m vllm.entrypoints.api_server --model Qwen/Qwen3-14b --dtype half --tensor-parallel-size 1 --gpu-memory-utilization 0.9。
4、通过curl向http://localhost:8000/generate提交100k token输入文本，验证响应延迟与显存稳定性。
五、多实例并发部署的显存隔离方案
RTX 4090的24GB显存可支持多个轻量级Qwen模型实例共存。例如，Qwen3.5-2B仅占4.6GB显存，单卡可并行运行4个实例；若混搭Qwen3.5-2B与Qwen3-14B-FP8，则需通过CUDA_VISIBLE_DEVICES与显存预留实现硬隔离。
1、启动第一个Qwen3.5-2B实例：CUDA_VISIBLE_DEVICES=0 python app.py --model qwen3.5-2b --gpu-memory 4600。
2、启动第二个Qwen3-14B-FP8实例：CUDA_VISIBLE_DEVICES=0 python app.py --model qwen3-14b-fp8 --gpu-memory 14000。
3、使用torch.cuda.memory_reserved(0)确认两进程各自锁定显存区间无重叠。
4、通过nvidia-smi -l 1持续监控，确保总占用始终≤23.5GB（预留0.5GB系统开销）。
