AI 算力基建的下半场行业交流纪要

摘要： 本次会议探讨了 AI 算力基建从训练主导向推理主导转型的技术演进与市场逻辑，重点分析了推理任务带来的硬件瓶颈、存储架构分层以及 CPU 角色的升级，并对 Token 需求增长与资本开支（Capex）困境进行了量化分析。

行业主线：

1. 技术重心转移：AI 算力需求由 GPU 芯片主导转向系统级资源调度，推理任务的爆发使得 KV Cache 成为核心瓶颈。
2. 存储架构分层：为了解决内存受限问题，行业正向 HBM $\rightarrow$ DRAM $\rightarrow$ SSD $\rightarrow$ HDD 的分层存储架构演进，并引入 CXL 和 DPU（如 Nvidia BF4）以降低延迟并实现存储池化。
3. CPU 角色升级：在 Agent 任务中，CPU 从简单的调度单元升级为负责控制与执行逻辑的关键处理器，形成“GPU 计算 + CPU 控制”的双引擎架构。

关键变化与分歧：

1. Token 需求爆发：Coding Agent 的兴起导致单用户 Token 消耗量级增长，中国开源模型在 API 调用量中占比显著提升。
2. Capex 困境：四大厂商资本开支强度处于高位，而 AI 实际营收与开支之间存在 4-5 倍的缺口，市场分歧在于营收能否快速通过订阅模式覆盖折旧成本。

受益方向与风险：

1. 受益方向：具备高带宽内存技术、低延迟互联协议（CXL）以及能够通过硬件优化降低单 Token 推理成本的设备厂商。
2. 核心风险：AI 商业化收入增长不及预期，导致大厂资本开支在达到峰值后出现剧烈修正。