(資料圖)

9月12日，阿里巴巴通義千問發(fā)布下一代基礎模型架構Qwen3-Next，并開源了基于該架構的Qwen3-Next-80B-A3B系列模型。該結構相比Qwen3的MoE模型結構，進行了以下核心改進：混合注意力機制、高稀疏度MoE結構、一系列訓練穩(wěn)定友好的優(yōu)化，以及提升推理效率的多token預測機制。