架构与物理 · 2026年10月3日

内存墙：AI 芯片真正的瓶颈在数据搬运

从外部 DRAM 读一次数据的能耗，约是一次整数加法的数千倍。理解这个物理事实，就能理解为什么端侧大模型的关键在数据路径，而不是峰值算力。

运算很便宜，搬数据很贵

斯坦福大学 Mark Horowitz 教授在 ISSCC 2014 的主题演讲中，整理了 45 纳米工艺下各种基本操作的能耗。这组数字至今仍是芯片架构讨论最常引用的参考之一：

从外部 DRAM 读一次数据，能耗约是一次整数加法的 6,400 倍，也是读取片上 SRAM 的 100 倍以上。工艺演进会让绝对数字下降，但「搬数据比算数据贵」这个结构没有改变。

大模型让问题更明显

大型语言模型在逐字生成内容时，每生成一个 token，都要读取几乎全部的权重。以 15 亿参数、4 比特量化的模型为例，权重约 0.75 GB。若权重放在外部内存、每个 token 完整读取一次，在 25.6 GB/s 的带宽下，理论上限约为每秒 34 个 token，这还没有计入其他开销。

这时候再增加运算单元，速度也不会变快，因为运算单元大部分时间都在等数据。这种现象通常被称为「内存墙」。

三种常见的应对方式

1. 提高外部带宽：效果直接，但会增加功耗、成本与主板设计难度。
2. 缩小模型、降低比特数：量化与剪枝能减少搬运量，但需要控制精度损失。
3. 把运算搬到数据旁边：存内计算让频繁访问的数据留在运算单元旁，从架构上减少搬运。

三者并不互斥。实际的系统设计，通常要同时考虑模型、量化、内存配置与主机条件。

VXI 的做法

VXI 以 SRAM 存内计算为核心，把频繁访问的数据留在芯片上，并由编译器规划权重与激活值的配置，减少每个 token 的外部搬运。架构效率来自数据路径的设计，不依赖最先进工艺。

想估算自己的模型需要多少权重与 KV 内存，可以使用 模型内存容量估算器；想了解架构细节，请参考 技术总览。

表中数字为 Horowitz（ISSCC 2014）整理的 45 纳米工艺估计值，用于说明数量级差异，并非 VXI 产品规格。