讲师中心 微信公众号

工具推荐

视频效率加速
立刻MV
立刻MV

低成本歌曲 MV、视频生成

Seko
Seko

AI短剧一键生成成片

Laper
Laper

剧本策划到成片协作

剧云
剧云

中文短剧剧本制作平台

PCIe6.0 为什么是AI训推的必然选择

雨芳大大_2726

雨芳大大_2726

发布时间:2026-11-17 11:50:36

|

109人浏览过

|

来源于php中文网

原创

先说结论:pcie6.0 企业级ssd,是现阶段乃至未来几年最适合ai训练与推理的ssd存储方案,相较当下主流的pcie5.0,优势极为明显。支撑这一结论的是三组事实——其一,带宽翻倍:最大读写带宽从约14gb/s 提升到约28gb/s,在盘位受限的8卡服务器里,kvcache 重载时间直接减半;其二,平台与产能同向:nvidia vera rubin、amdvenice 原生支持pcie6.0,而hbm在未来2–3年持续紧缺、价格上行,把数据下沉到essd是现实解法;其三,收益可量化:训练空转、推理时延、等效gpu用量与单机成本,每一项都非常直观的收益数字。

PCIe6.0 为什么是AI训推的必然选择

一、AI撞上的不是算力墙,而是内存墙

2026年AI算力仍在高速迭代,但最先撞墙的是内存。Micron在HotChips 2026 上给出了一组对比:过去两年AI算力以约3倍节奏提升,HBM带宽只以约2倍节奏增长,每一代新GPU问世,这个缺口都在拉大。结果很直接——GPU多数时间不在计算,而在等数据:训练时Checkpoint写入让GPU空转,推理时首Token延迟(TTFT)和Token间延迟居高不下。

存储层级之间的能力差距是数量级的:HBM3E带宽约8TB/s,单卡192–288GB;DDR5约512GB/s;PCIe5.0 SSD 约14GB/s;PCIe6.0 SSD 约28GB/s。带宽差达数百倍,但技术目标不是追平差距,而是把数据放对层级——频繁访问的留在HBM,几分钟内不再用的下沉到SSD。

二、KVCache 把HBM挤爆了

训练时代的内存墙是Checkpoint太大,推理时代则是KVCache 太大。32K、128K甚至1Mtokens 的长上下文已是Agentic AI、代码助手、企业知识库的标配。KVCache 随上下文长度近乎线性增长:128K上下文的缓存往往是模型权重的数倍,1Mtoken 更是高达数百GB,单张HBM的GPU装不下多路并发。

2026年USENIXFAST 26 的一批论文给出了同一个答案:KVCache 的访问并不均匀,存在明显的热度分层——一部分KV反复被读,另一部分写进去就再没人碰。只要预取、调度、重算的策略做对,SSD就能以很小的性能代价,接下HBM装不下的那部分数据。CacheSlide把智能体工作流吞吐提升3.5–5.8倍、写放大降低3.11–3.62倍;Bidaw让多轮对话延迟降低3.58倍、吞吐提升1.83倍;华为云AITURBO在生产环境把Checkpoint写提速最高5.9倍;PPC把模型权重加载延迟降低79%。

工业侧同样验证过。2026年10月先进存力大会公开的DeepSeek-V4与vLLM集群实测显示:同一份KVCache 分别落在“纯DRAM”与“小容量DRAM+ 高速全闪”,吞吐基本持平,但有效缓存容量相差107倍。原因是单轮请求中KV读取只占约28%,其余约70%花在GPU解码计算;显存自带的前缀缓存承担了87%–91%的命中,闪存层主要在内存耗尽的边界兜底。

真正拉开差距的是容量耗尽后的“悬崖效应”:纯内存方案在长会话下触发“驱逐—重算—再驱逐”的正反馈,极端测试点命中率从0.52跌到不足0.01;分层方案稳定在0.95附近,单轮整体耗时相差2.62倍。

但这套架构有一道硬门槛:SSD带宽必须高于业务I/O速率,闪存层兜底才不会反噬性能。PCIe5.0 SSD 在并发拉满、命中集中到闪存层时容易触碰瓶颈,这正是PCIe6.0 的价值所在。

三、HBM这条路已被产能锁死

面对缓存膨胀,最直觉的方案是加HBM,但2026年的现实是这条路已经锁死:SK海力士、三星、美光全年HBM产能全部售罄;2027年HBM4产能已被客户提前锁定、实质售罄;2026年DRAM供应增长仅16%,远低于历史均值;RubinUltra 2026 年的HBM配置因产能约束较原方案减少约33%。愿意付溢价,也买不到足够的量。

正确的做法不是绕过HBM,而是让HBM只承载当前活跃的计算数据,把冷/温KV、Checkpoint、模型权重库下沉到eSSD。

四、PCIe6.0:带宽翻倍,而且已经落地

PCIe6.0 采用PAM4信号与FLIT编码,把x4带宽从16GB/s 提到32GB/s,并且这次提升已由实测验证,不再停留在规格层面。

表1 PCIe5.0 与6.0企业级SSD实测性能对比

时尚资讯分享服务平台网站模板
时尚资讯分享服务平台网站模板

时尚资讯分享服务平台网站模板是一款适合提供各种时尚新闻资讯分享服务网站模板下载。提示:本模板调用到谷歌字体库,可能会出现页面打开比较缓慢。

下载

PCIe6.0 为什么是AI训推的必然选择

平台侧也已就绪:NVIDIAVera Rubin 的RubinGPU 对外为Gen6x16、双向256GB/s,VeraCPU 原生支持Gen6/ CXL 3.1;AMDEPYC 9006(Venice)单路提供96条PCIe6.0 lane,内存带宽1.6TB/s。从GPUDMA 到总线再到eSSD,整条数据路径在2026年完成代际升级。

还有一层常被忽略的放大效应:一块NVMe通常用x4、一块GPU用x16,而主流8卡服务器一般只有8个盘位,每块GPU实际只能分到约1块盘。2块盘聚合下,PCIe5.0 约28GB/s,PCIe6.0 提升到约56GB/s——不增加盘位,缓存重载总时间直接减半。

五、芯展速PT300系列:把带宽红利落进两个场景

场景一,凌晨3点的一次训练存档。70B模型每训练一段时间,就要把约1.2TB 的完整状态写进eSSD,防止中断后前功尽弃。用主流PCIe5.0 eSSD 约需100秒,这100秒里8张GPU全部闲着;按每30分钟存一次档计算,一个月单台服务器白等约40小时。换成PT308E——单盘顺序写入最高24,700MB/s,同样的1.2TB 约49秒写完,GPU等待直接减半,一个月省回约20小时有效训练时间;模型越大省得越多,405B约120小时,1T超过250小时。存档是持续高频的写操作,PT308E按3DWPD 设计,训练场景远低于这个强度,用满5年质保也没有寿命焦虑;自带断电保护,保证写到一半的数据也能完整落盘。

场景二,上午10点的一个长问题。企业知识库助手收到一个128K上下文的长问题,模型“记住”这些材料靠KVCache,显存装不下的部分放到内存和eSSD。从按下回车到看到第一个字,这段等待就是TTFT。缓存调用是一条三级链路:显存里能直接找到的最快(约占87%–91%),内存次之,剩下的冷数据要从eSSD读回——最后一环正是PCIe6.0 与5.0拉开差距的地方。PT308P单盘读取28,000MB/s,同一份缓存的读回时间直接减半;每秒680万次随机读取和45/10微秒的响应,保证高峰时排在队尾的请求也不被拖慢。

把这笔时间账换算成吞吐:一个请求总共1秒、其中约300毫秒在等eSSD、700毫秒在计算,eSSD快一倍后总时长降到约850毫秒,一张GPU每秒能多服务约18%的请求——同样的用户量,可以少用约15%的GPU。

容量层面同样成立:业界公开的集群实测中,“内存+闪存”分层把可用缓存容量扩大107倍。PT308P单盘最大30.72TB,8块就是约246TB,足以接住所有从显存和内存溢出的缓存,而28GB/s 的单盘带宽把这条底线守住。

PCIe6.0 为什么是AI训推的必然选择

六、两笔账:能效与容量

能效。芯展速实测,PT300系列每瓦功耗提供的带宽较上一代PCIe5.0 eSSD 提升一倍;行业公开口径也一致——Micron的PCIe6.0 产品顺序读能效为每瓦1,120MB/s,恰是其PCIe5.0 产品(约560MB/s)的2倍。需要说明的是,规格书上“随机读/写

按等带宽口径算:取56GB/s 总读取带宽作基准,PCIe5.0 要4块盘,PT300只要2块——100台服务器少用200块盘,故障点和散热压力同步减半。这不是8卡服务器的需求上限,8盘满配PT300的聚合读取带宽可达约224GB/s。100台集群的存储部分还可省约5kW 功耗;在供电有上限的AI机房里,eSSD省下的每一瓦都能让给GPU。

容量。HBM越贵越缺,把冷数据挪到eSSD的价值就越大。一台8卡服务器把500GB 冷缓存从HBM挪到PT300,容量与成本结构立刻改善;换成下一代HBM4,收益还会进一步放大。HBM越紧张,这笔账越划算。

结语

训练时,PT300把一次1.2TB 的存档压进49秒,让GPU少等一半时间;推理时,它把缓存读回减半、响应压到微秒级,让第一个字来得更快;空闲时功耗不到5W,把电留给GPU;HBM紧缺时,它用eSSD的容量与成本结构,接下从显存和内存溢出的缓存。

2026年11月19日,芯展速Gen6SSD 及Retimer将在「AMD第六代EPYC峰会」现场正式亮相。

热门AI工具

更多
SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

SoundView
SoundView Hot

SoundView是一款面向跨境电商的视频翻译、配音和本地化 AI 创作平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

140

2026.11.12

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

100

2026.11.12

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

80

2026.11.12

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

160

2026.11.06

Postman请求头Headers怎么设置
Postman请求头Headers怎么设置

围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。

140

2026.11.06

Postman接口请求发送教程
Postman接口请求发送教程

详细介绍Postman接口请求的创建与发送方法,涵盖GET和POST请求、URL配置、请求参数、Headers请求头、Body请求体设置以及响应结果查看,帮助用户掌握Postman接口请求的完整操作流程。

120

2026.11.06

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

120

2026.11.05

DBeaver安全防护教程大全
DBeaver安全防护教程大全

DBeaver安全防护专题,围绕数据库连接安全、账号密码保护和访问权限管理展开,整理SSL/TLS加密连接、SSH隧道、数据库凭据保存及证书验证等配置方法,同时介绍敏感信息保护、远程连接风险和高权限账号使用等注意事项,帮助用户提高数据库日常管理的安全性。

100

2026.11.05

DBeaver连接创建与配置教程
DBeaver连接创建与配置教程

本专题聚焦DBeaver数据库连接配置与管理,覆盖从新建连接、选择数据库类型到填写连接参数和验证连接的完整流程。针对MySQL、PostgreSQL、SQL Server等常见数据库,整理相应的连接设置方法,并提供驱动缺失、认证失败和连接异常等问题的排查方向。

120

2026.11.04

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uniapp从零开始实现新闻资讯应用
Uniapp从零开始实现新闻资讯应用

共64课时 | 9.8万人学习

Uniapp从零开始实现新闻资讯应用
Uniapp从零开始实现新闻资讯应用

共67课时 | 12.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn