☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
当你正沉浸于 Vibe Coding 无法自拔，或正在运行的项目突然中断，打开命令行工具一看，“你的额度已用完”几个字赫然在目——心态不稳几乎是必然反应。
你还不敢多问，一问AI公司，答案清一色：“缺算力”。
可事实果真如此吗？
Epoch AI 的分析师估算，截至2025年底，OpenAI所拥有的等效算力将达约170万块H100。而这一数字在2023年仅为10万块，2024年升至40万块——两年间暴涨17倍。英伟达市值突破3万亿美元，全球科技巨头每季度豪掷数百亿美元抢购芯片。一切表象都在强化同一套叙事：算力即AI时代的石油，囤得越多，胜算越大。
既然各家AI公司都在重金扫货GPU、疯狂储备算力，又怎会差你那点配额？
在播客《Latent Space》的一期节目中，AI基础设施公司AMP创始人Anjney Midha直言：“像xAI这样的前沿实验室，GPU实际利用率可能不足10%——这仅是冰山一角。”
我做了个粗略换算。MFU（Model Flops Utilization，模型浮点运算利用率）是衡量GPU真正用于模型计算效率的核心指标。若你斥资5亿美元建成一个GPU集群，而MFU仅为10%，意味着你实际获得的有效算力，只相当于花了5000万美元；其余4.5亿美元所对应的算力，处于空转状态。
更令人费解的是：这些团队汇聚全球顶尖工程人才，手握最昂贵预算，构建着最尖端计算集群——却任由90%的算力闲置。
这不是某家初创企业的管理疏漏，而是整个行业的结构性隐疾。
巨量采购，巨量闲置
让我们把这种反差进一步具象化。
Epoch AI分析师Josh You在其广受引用的报告中指出：“前沿实验室尚未动用其大部分AI算力。”他追踪多家头部实验室的算力增长轨迹，发现一个刺眼趋势——算力采购速度远超实际消耗增速。大量计算资源长期处于“待命”或“静默”状态，更像是战略储备物资，而非燃烧中的燃料。
这并非前沿实验室独有现象。
富士通（Fujitsu）在其2024年发布的《AI基础设施现状报告》中援引一组更震撼的数据：超过75%的企业，在峰值负载下GPU利用率仍低于70%。注意，这是“峰值”——即业务最繁忙时刻，四分之三的企业连七成算力都未能填满。
VentureBeat基于同类数据给出了更激进判断：“95%的AI基础设施投入被白白浪费。”
我尝试将这些数字转化为真实成本。一块H100云实例每小时费用为30至50美元。假设一家企业运营着20块GPU的小型集群，且利用率仅为20%（这在业内已属中上水平），那么每年因闲置造成的计算成本浪费约为20万美元。而对于坐拥数万块GPU的前沿实验室而言，该数字需放大若干数量级。
这不禁让我想起一段尘封往事。
上世纪90年代末，美国电信业掀起一场光纤铺设狂潮。WorldCom、Global Crossing、Level 3等公司埋设了数百万英里光纤，总投资逾千亿美元。但2001年泡沫破裂时，行业惊觉：所铺光纤中超95%为“暗光纤”（dark fiber）——从未点亮，从未承载任何数据流。它们静静蛰伏于地下，宛如一个时代雄心的墓志铭。
今日AI行业买下GPU却任其空转，是否正是同一剧本的翻版？
但二者存在关键差异：当年暗光纤闲置，主因是需求侧真空——彼时根本不存在足够数据需要传输；而如今GPU闲置，根源更为复杂——因为算力需求明明真实存在。每家实验室都在喊“算力不够”，每位研究者都在排队等待GPU资源。
供给与需求并存，中间究竟卡在何处？
GPU近三分之二时间在“等”
我曾天真以为GPU利用率低，是因为任务负载不足。直到深入研读基础设施层的技术分析，才意识到问题远非如此简单。
GPU并非一头喂饱就干活的猛兽，它更像一位严苛的米其林三星主厨——食材品质、上菜节奏、厨房动线，任一环节出错，它都会停下静候。
aixenergy一项研究揭示了一个惊人事实：在AI训练过程中，GPU有30%至65%的时间处于闲置状态。并非无任务可执行，而是数据尚未就位。
这就是典型的“数据饥饿”困境。
训练大模型需海量数据，这些数据须经清洗、标注、分词、打包等多重预处理，再从存储系统加载至GPU显存。GPU计算能力以TFLOPS（每秒万亿次浮点运算）计量，但存储系统的IO吞吐量远远落后。结果如同一条数十车道的高速公路，收费站却只能同时放行两辆车——路修得再宽，车流依然拥堵。
故事尚未结束。我在arXiv上查阅到一篇关于GPU能耗的论文，其中披露了一个更隐蔽的问题：即便GPU进入所谓“深度空闲状态”（deep idle），其功耗依然可观。Epoch AI数据显示，GPU数据中心总功耗中，约40%直接来自GPU本身。这意味着那些等待数据的GPU不仅未工作，还在持续耗电，且耗电量不容小觑。
这恰似一辆法拉利堵在早高峰环线：引擎空转，燃油白烧，车却纹丝不动。而你还得为它每小时支付50美元租金。
还有一个更精微的陷阱。该arXiv论文指出，当前行业通用监控指标“集群级SM利用率”，实则难以反映真实效能。SM（Streaming Multiprocessor，流式多处理器）是GPU内部核心计算单元。即便监控面板显示SM利用率看似正常，大量计算周期其实耗费在“伪工作”上——数据搬运、内存同步、通信等待，而非实质模型运算。
这也解释了我此前的一个困惑：为何有些团队报告“GPU利用率70%”，但训练速度却远逊预期？因为那70%中，或许仅一半用于有效计算，另一半忙于后勤调度。“峰值负载利用率”就像公司的“单季最佳营收”——它真实存在，却不代表日常水准。用它衡量效率，无异于用你百米最快成绩评估每日通勤效率。
当症结在于结构而非规模时，盲目堆叠硬件不仅无效，反而让浪费呈比例放大。
当“用好算力”升格为一门新学科
若问题是结构性的，解法也必然是结构性的。这正是Anjney Midha在那期播客中提出的核心命题。他使用了一个词：“outputmaxxing”——产出最大化。
初听像是硅谷又一新造热词，但Midha给出的基准线让我意识到，它指向一个严肃的工程挑战。他说：“我认为目前业界最佳实践者的MFU，大致落在60%至70%区间。”
60%至70%——这是全球顶尖团队、极致优化代码、精密调校基础设施所能企及的天花板。而行业平均值，尚不及此数值的零头。
这一差距意味着什么？意味着对多数AI公司而言，若能将利用率从10%提升至60%，等同于零新增投入下，有效算力扩张6倍。无需抢购更多GPU，无需扩建数据中心，无需与英伟达展开价格战——只需真正激活已有硬件。
这与云计算行业走过的路径几乎如出一辙。2000年代初，企业物理服务器平均利用率仅10%-15%。每台服务器独占一个应用，剩余算力悉数闲置。随后VMware推出虚拟化技术，将多个虚拟机整合至单台物理服务器；再后来Docker推动容器化，进一步压缩资源开销。
如今，云服务器利用率普遍已达60%-70%。
从10%-15%跃升至60%-70%，这场跨越历时约15年，催生万亿美元级云计算产业，并彻底重塑软件开发与部署范式。AI算力当前所处位置，恰如2005年的服务器市场——问题清晰可见，但系统性解决方案仍在孕育之中。
商业模式的演进，正加速这一转型。早期AI基础设施市场盛行“固定费用许可”与“绑定Token”模式——企业预付大额资金购买算力配额，用不完不退。此类模式天然纵容浪费，因边际成本为零，无人有动力优化利用率。
VentureBeat分析指出，随着行业逐步转向按用量计费，闲置基础设施的成本压力，正从“被忽视的背景噪音”，升级为“生产阶段的紧急议题”。
当每个空转GPU周期都直接映射到账单数字上，“产出最大化”便不再仅是技术理想，而成为一道财务铁律。
与此同时，环境成本也在倒逼效率革命。
Towards Data Science分析指出，多数GPU闲置状态，导致全球AI计算碳排放中相当一部分属于“无效排放”——电能转化成了热量，却未产出任何智能成果。GPU数据中心40%功耗源自GPU本体，其中大量消耗发生于空转与深度空闲状态。这已不仅是金钱问题，更是资源与生态问题。
富士通2024年发布技术白皮书，标题直击要害：《最大化GPU利用率》。DevZero、Prodia、Mirantis等一批基础设施公司亦纷纷撰文探讨“为何80%的GPU处于闲置”，并分享各自优化策略。这种全行业的集体焦虑本身即为信号——问题已严重到无人能再视而不见。
人们常忽略一件关键事实：在AI竞赛的主流叙事中，“规模”始终是唯一主角。谁拥有最多GPU、谁训练最大模型、谁投入最多资金——这些才是头条新闻的标配。而效率，从来登不上封面。没人会报道“某公司GPU利用率从15%提升至50%”，尽管从实际产出看，此举价值或远超新增10万块GPU。
Midha提出的“产出最大化”之所以值得深究，正因为它暗示一种范式迁移：
AI竞赛的护城河，正从“谁能获取更多算力”，悄然转向“谁能从同等算力中榨取更多智能”。前者是资本消耗战，后者是工程精密战。前者的上限取决于银行账户厚度与英伟达产能，后者的上限则取决于你对计算物理、分布式系统及数据工程的理解深度。
这并非渐进式优化，而是一门新学科的诞生。
每次基础设施革命似乎都遵循相似剧本：先疯狂建设，继而发现大量产能闲置，随后一批新公司与新技术涌现，专攻“如何用好已建成的资源”。铁路时代如此，电力时代如此，互联网时代如此，云计算时代亦如此。AI算力，正行至这条发展曲线的关键拐点。
但此次变革有个耐人寻味的不同：过往每一次效率革命，优化对象皆为相对“笨拙”的资源——蒸汽、电力、带宽、服务器周期。而这一次，我们试图优化的资源本身，正被用来孕育某种形式的智能。当你将一块GPU从空转中“唤醒”，使其真正参与模型训练，你提升的不只是利用率百分比——你增加的是这个星球上正在思考的硅基大脑的数量。
或许，AI时代最本质的命题从来不是“我们能制造多少算力”，而是“我们已拥有的算力中，有多少真正在思考”。
本文来自微信公众号“极客公园”（ID：geekpark），作者：宇航猿，编辑：靖宇，36氪经授权发布。
