架構與物理 · 2026年10月3日

記憶體牆：AI 晶片真正的瓶頸在資料搬運

從外部 DRAM 讀一次資料的能耗，約是一次整數加法的數千倍。理解這個物理事實，就能理解為什麼端側大模型的關鍵在資料路徑，而不是峰值算力。

運算很便宜，搬資料很貴

史丹佛大學 Mark Horowitz 教授在 ISSCC 2014 的主題演講中，整理了 45 奈米製程下各種基本操作的能耗。這組數字至今仍是晶片架構討論最常引用的參考之一：

從外部 DRAM 讀一次資料，能耗約是一次整數加法的 6,400 倍，也是讀取晶片上 SRAM 的 100 倍以上。製程演進會讓絕對數字下降，但「搬資料比算資料貴」這個結構沒有改變。

大模型讓問題更明顯

大型語言模型在逐字產生內容時，每產生一個 token，都要讀取幾乎全部的權重。以 15 億參數、4 位元量化的模型為例，權重約 0.75 GB。若權重放在外部記憶體、每個 token 完整讀取一次，在 25.6 GB/s 的頻寬下，理論上限約為每秒 34 個 token，這還沒有計入其他開銷。

這時候再增加運算單元，速度也不會變快，因為運算單元大部分時間都在等資料。這種現象通常被稱為「記憶體牆」。

三種常見的應對方式

1. 提高外部頻寬：效果直接，但會增加功耗、成本與主板設計難度。
2. 縮小模型、降低位元數：量化與剪枝能減少搬運量，但需要控制精度損失。
3. 把運算搬到資料旁邊：記憶體內運算讓頻繁存取的資料留在運算單元旁，從架構上減少搬運。

三者並不互斥。實際的系統設計，通常要同時考慮模型、量化、記憶體配置與主機條件。

VXI 的做法

VXI 以 SRAM 記憶體內運算為核心，把頻繁存取的資料留在晶片上，並由編譯器規畫權重與啟動值的配置，減少每個 token 的外部搬運。架構效率來自資料路徑的設計，不依賴最先進製程。

想估算自己的模型需要多少權重與 KV 記憶體，可以使用 模型記憶體容量估算器；想了解架構細節，請參考 技術總覽。

表中數字為 Horowitz（ISSCC 2014）整理的 45 奈米製程估計值，用於說明數量級差異，並非 VXI 產品規格。