NVIDIA Developer· Michelle Horton·· 3 小时前AI 评分38
ReplaySSM:重新思考混合模型解码的状态存储
ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding
AI 导读
NVIDIA 提出 ReplaySSM,旨在通过优化状态存储加速 Nemotron 3、Qwen3.5-3.8 等混合模型的解码。该方案针对结合 SSM 层与注意力层的架构,利用固定大小状态替代随序列增长的 KV cache,以提升推理效率。
来源:NVIDIA Developer · developer.nvidia.com