技術模組
SRAM-CIM 計算路徑
AI 推論的效率瓶頸,往往不在運算本身,而在資料被反覆搬移。VXI 以 SRAM-CIM(記憶體內運算)為核心,讓權重留在計算發生的地方,把能源與頻寬留給真正有價值的工作。
架構設計 · 資料流 · 能效
核心價值
以權重駐留與近記憶體運算為架構方向,降低不必要的資料往返。
以資料為中心的運算
權重駐留於運算陣列附近,大幅減少往返外部記憶體的搬移,讓推論路徑更短、更穩定。
為推論工作負載而生
針對矩陣乘加與注意力等主流 AI 運算型態規畫資料流,讓模型特性直接對應到硬體路徑。
能效與體驗兼得
資料搬移減少,意味著更低的系統功耗壓力與更一致的回應體驗,適合長時間運行的邊緣產品。
運作方式
模型分析
解析模型結構與運算熱點,找出最適合駐留於計算陣列的權重與網路層。
權重映射
依記憶體容量與資料流需求,將權重配置到 SRAM-CIM 計算陣列。
陣列內運算
在資料所在位置完成乘加運算,只傳遞必要的中間結果。
結果彙整
由資料互連與 Runtime 協同彙整輸出,銜接後續運算與應用。
評估時我們會與您確認
帶著這些資訊提出評估申請,VXI 團隊能更快提出具體的平台與導入建議。
- 目標模型架構、精度需求與主要運算型態
- 延遲、吞吐與功耗之間的產品優先順序
- 權重規模與可駐留比例的預估
- 與主機處理器、外部記憶體的分工方式
常見問題
- 什麼是 SRAM-CIM?
- SRAM-CIM(SRAM Compute-in-Memory)是在記憶體陣列內部或旁邊直接完成運算的架構方向。資料不必在記憶體與運算單元之間頻繁往返,是提升 AI 推論效率的重要路徑。
- SRAM-CIM 適合哪些 AI 應用?
- 以矩陣運算為主的推論工作負載最能受益,例如語言模型、視覺辨識與多模態應用。VXI 會依您的模型與產品條件,規畫最合適的平台與資料配置。
- 現有模型需要重新訓練嗎?
- 多數情況下不需要重新訓練。VXI 工具鏈會協助模型轉換與量化適配,並在評估階段與您確認精度與效能目標。
延伸閱讀的技術模組
- 記憶體階層 — 權重、啟動值與快取協同配置
- 片上資料互連 — 依工作負載調度資料路徑與模組通訊
- 編譯與 Runtime — 模型轉換、量化、排程到執行期控制