跳到正文
原文
NVIDIA Developer· Michelle Horton·· 3 小时前AI 评分38

ReplaySSM:重新思考混合模型解码的状态存储

ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding

AI 导读

NVIDIA 提出 ReplaySSM,旨在通过优化状态存储加速 Nemotron 3、Qwen3.5-3.8 等混合模型的解码。该方案针对结合 SSM 层与注意力层的架构,利用固定大小状态替代随序列增长的 KV cache,以提升推理效率。

来源:NVIDIA Developer · developer.nvidia.com