Strata引擎开源：12GB显存显卡即可流畅运行125B参数Qwen3.8模型 RTX 5070达94词元每秒。

据悉，开发者Niko1221近日开源推出了Strata引擎，该引擎专为运行125B参数的Qwen3.8-Flash-Next模型设计，并包含51B参数的n-gram嵌入表，原生支持262K token上下文长度。

为降低显存占用，Strata采用两项关键技术：将MoE（混合专家）模型整体载入RAM，仅将高频使用的专家模型载入VRAM；同时使用轻量模型进行投机解码，预测下一Token以加速推理。

硬件要求方面，运行该模型需至少12GB VRAM的NVIDIA或AMD显卡、32GB以上RAM、80GB以上存储空间（推荐SSD），并支持Windows 10/11或Linux系统。

性能测试显示，在NVIDIA RTX 5070（12GB VRAM）、Ryzen 5 7600、64GB RAM配置下，2比特量化版（Q2_0）达到94词元每秒的推理速度，3比特量化版（IQ3_S）为53词元每秒。在AMD RX 9070 XT（16GB VRAM）、Ryzen 9 3900X、47GB内存环境下，Q2_0版本达到60词元每秒。