#slm
Toutes les ressources de la plateforme relatives au sujet slm.
Modèles (6)
Llama 3.2
La version ultra-légère de Llama. En 1B et 3B, ce modèle est pensé pour tourner directement sur mobile ou sur du matériel très modeste.
Qwen 2.5
Une gamme de SLMs (Small Language Models) avec un bon support multilingue et de solides capacités en code, de 1.5B à 7B.
Phi-3.5 Mini
Évolution du Phi-3 Mini. Toujours 3.8B de paramètres, mais avec une attention multi-requêtes (MQA) et une fenêtre de contexte de 128k.
Phi-3 Mini
Modèle compact (3.8B) de Microsoft, optimisé pour les appareils avec peu de ressources. Il raisonne bien malgré sa petite taille.
EmbeddingGemma
Le modèle d'embedding open-weights de Google. Il transforme du texte en vecteurs (embeddings) et sert de moteur pour les systèmes RAG locaux.
SmolLM2
Modèle ultra-compact (1.7B) créé par Hugging Face. Entraîné sur un dataset très soigné (Cosmo-Corpus) pour tirer le maximum de sa petite taille.