Exploration par sujet
#inférence locale
Toutes les ressources de la plateforme relatives au sujet inférence locale.
Modèles (5)
Llama 3.2
La version ultra-légère de Llama. En 1B et 3B, ce modèle est pensé pour tourner directement sur mobile ou sur du matériel très modeste.
Qwen 2.5
Une gamme de SLMs (Small Language Models) avec un bon support multilingue et de solides capacités en code, de 1.5B à 7B.
Phi-3.5 Mini
Évolution du Phi-3 Mini. Toujours 3.8B de paramètres, mais avec une attention multi-requêtes (MQA) et une fenêtre de contexte de 128k.
Phi-3 Mini
Modèle compact (3.8B) de Microsoft, optimisé pour les appareils avec peu de ressources. Il raisonne bien malgré sa petite taille.
Llama 3
La nouvelle génération de modèles ouverts par Meta. De bons résultats pour sa taille, adapté à l'inférence locale et au raisonnement.