Allen AI 发布 Olmo-core 3：面向大规模 MoE 的开源训练基础设施

Allen AI 发布 Olmo-core 3，这是一套专为扩展混合专家（MoE）模型训练而重新设计的开源基础设施，旨在支持万亿参数规模并保持计算效率。该框架将底层并行策略从完全分片数据并行（FSDP）切换为基于分布式数据并行（DDP）的系统，在初步测试中使 470 亿参数 MoE 模型的吞吐量提升了约 2.7 倍。