评估本地大模型吞吐能力的关键指标是每秒生成Token数（TPS），可通过三种方法测量：一、用llm-perf工具标准化测试，固定输入输出长度并统计平均TPS；二、通过vLLM API响应头中的生成耗时与token数反推瞬时TPS；三、用transformers加torch.compile手动计时，同步GPU后计算端到端TPS。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您希望评估本地部署的大模型在实际推理过程中的吞吐能力，关键指标之一是每秒生成的Token数量（Tokens per Second, TPS）。该数值直接受限于硬件配置、模型量化方式、推理框架优化程度及输入输出长度。以下是测量本地大模型推理速度的具体步骤：
一、使用llm-perf工具进行标准化基准测试
llm-perf是一个专为大语言模型设计的轻量级性能评测工具，支持统一上下文长度、批量大小与采样参数，可排除prompt解析和后处理环节干扰，专注测量核心生成阶段的TPS。
1、克隆llm-perf仓库并进入项目目录：git clone https://github.com/InternLM/llm-perf && cd llm-perf。
2、安装依赖并指定目标模型路径：pip install -r requirements.txt && python setup.py install。
3、执行单轮生成测试，固定输入长度为512，输出长度为256：python benchmark.py --model-path /path/to/your/model --input-len 512 --output-len 256 --batch-size 1。
4、工具将自动运行10次warmup后采集50次有效推理，最终输出平均TPS值及标准差。
二、通过vLLM服务端API日志提取实时TPS
vLLM提供高吞吐的PagedAttention推理后端，其HTTP API在响应头中嵌入了详细的时序信息，包括token生成耗时，可用于反向计算真实TPS。
1、启动vLLM服务并启用详细日志：python -m vllm.entrypoints.api_server --model /path/to/your/model --enable-prefix-caching --log-level DEBUG。
2、发送一次包含128个输入token、请求生成200个输出token的请求，并记录完整响应体与响应头。
大模型 Token 成本节约工具。在请求到达大模型之前自动压缩 prompt 和上下文，减少 60-95% 的 token 消耗，直接降低 API 成本。支持 Claude/OpenAI/Gemini 等主流模型，提供代理模式、CLI 包装、Python SDK 和 MCP Server 四种接入方式。内置一键安...
3、从响应头中提取x-vllm-generation-time-ms与x-vllm-num-generated-tokens字段值。
4、用生成token总数除以生成耗时（单位转换为秒），得出本次请求的瞬时TPS：TPS = num_generated_tokens / (generation_time_ms / 1000)。
三、利用transformers + torch.compile手动计时
在不依赖专用推理框架的前提下，可通过原生Hugging Face Transformers加载模型，结合PyTorch 2.0编译机制与精确时间戳，获得端到端生成阶段的TPS数据。
1、加载模型时启用torch.compile并设置动态shape支持：model = torch.compile(model, dynamic=True, mode="reduce-overhead")。
2、禁用所有非必要输出，仅保留logits并强制同步GPU：torch.cuda.synchronize(); start_time = time.time()。
3、执行generate调用，设置max_new_tokens=256且do_sample=False以消除采样开销。
4、再次同步GPU并记录结束时间：torch.cuda.synchronize(); end_time = time.time()。
5、计算TPS：用256除以(end_time - start_time)，结果即为本次生成的实测TPS。
