技術模組

SRAM-CIM 計算路徑

AI 推論的效率瓶頸,往往不在運算本身,而在資料被反覆搬移。VXI 以 SRAM-CIM(記憶體內運算)為核心,讓權重留在計算發生的地方,把能源與頻寬留給真正有價值的工作。

架構設計 · 資料流 · 能效

核心價值

以權重駐留與近記憶體運算為架構方向,降低不必要的資料往返。

  • 以資料為中心的運算

    權重駐留於運算陣列附近,大幅減少往返外部記憶體的搬移,讓推論路徑更短、更穩定。

  • 為推論工作負載而生

    針對矩陣乘加與注意力等主流 AI 運算型態規畫資料流,讓模型特性直接對應到硬體路徑。

  • 能效與體驗兼得

    資料搬移減少,意味著更低的系統功耗壓力與更一致的回應體驗,適合長時間運行的邊緣產品。

運作方式

  1. 模型分析

    解析模型結構與運算熱點,找出最適合駐留於計算陣列的權重與網路層。

  2. 權重映射

    依記憶體容量與資料流需求,將權重配置到 SRAM-CIM 計算陣列。

  3. 陣列內運算

    在資料所在位置完成乘加運算,只傳遞必要的中間結果。

  4. 結果彙整

    由資料互連與 Runtime 協同彙整輸出,銜接後續運算與應用。

評估時我們會與您確認

帶著這些資訊提出評估申請,VXI 團隊能更快提出具體的平台與導入建議。

  • 目標模型架構、精度需求與主要運算型態
  • 延遲、吞吐與功耗之間的產品優先順序
  • 權重規模與可駐留比例的預估
  • 與主機處理器、外部記憶體的分工方式

常見問題

什麼是 SRAM-CIM?
SRAM-CIM(SRAM Compute-in-Memory)是在記憶體陣列內部或旁邊直接完成運算的架構方向。資料不必在記憶體與運算單元之間頻繁往返,是提升 AI 推論效率的重要路徑。
SRAM-CIM 適合哪些 AI 應用?
以矩陣運算為主的推論工作負載最能受益,例如語言模型、視覺辨識與多模態應用。VXI 會依您的模型與產品條件,規畫最合適的平台與資料配置。
現有模型需要重新訓練嗎?
多數情況下不需要重新訓練。VXI 工具鏈會協助模型轉換與量化適配,並在評估階段與您確認精度與效能目標。

延伸閱讀的技術模組

探索 Gen1 產品平台 · 評估時我們會與您確認

本頁也提供: zh-CN · en · ja