Toutes les ressources de la plateforme relatives au sujet hybrid-moe.
Architecture hybride MoE + Gated Delta Networks. 35B de paramètres au total mais seulement 3B activés par token, ce qui donne la puissance d'un gros modèle avec la vitesse d'un petit.