Developer Ecosystem
開發者生態
完整的 SDK、工具鏈、預量化模型庫與技術文件,讓您從評估到量產一路順暢。
SDK & Toolchain
開發工具
VXI Compiler
ONNX → VXI IR → CIM 指令集的端到端編譯器,支援 INT4/INT8 混合精度量化。
Model Zoo
預量化模型庫:DeepSeek 1.5B/7B、Qwen 1.5B/7B、Llama 3.2 1B/3B,開箱即用。
Runtime API
C/C++ & Python Runtime API,支援同步/異步推理、Batch 處理、Streaming 輸出。
WHT SpinQuant 工具
一鍵量化工具:Hadamard 旋轉 + GPTQ 4-bit 量化,精度損失 < 0.5% perplexity。
技術文件
完整的 API Reference、Integration Guide、Best Practices、Troubleshooting 文件。
評估板 BSP
VXI8805 FPGA 評估板 Board Support Package,含 Linux 驅動、設備樹、範例程式。
Code Example
3 行啟動推理
inference.py
# VXI Python Runtime — 3 行啟動推理
import vxi_runtime as vxi
# 載入預量化模型
engine = vxi.Engine("deepseek-1.5b-int4.vxm")
# 串流推理
for token in engine.generate("什麼是存算一體?", max_tokens=256):
print(token, end="", flush=True)Documentation
技術文件
入門
Quick Start Guide
10 分鐘上手 VXI 評估板
工具鏈
Compiler User Guide
ONNX → VXI 模型編譯完整流程
API
Runtime API Reference
C/C++ & Python API 完整參考
量化
Model Quantization Guide
WHT SpinQuant 量化最佳實踐
硬體
Hardware Integration Guide
PCIe / USB-C / MIPI 硬體整合指南
效能
Performance Tuning Guide
推理效能調優與 Profiling