Mistral/Mixtral-8x7B
Open source
56 mds de
paramètres
Licence Apache 2.0
Petit frère de la famille Mixtral, ce modèle est capable de traiter des contextes de 32 000 tokens et supporte l'anglais, le français, l'italien, l'allemand et l'espagnol. Grâce à l’architecture SMoE (sparse mixture of experts), seule une fraction des paramètres est activée pour chaque inférence, réduisant ainsi les coûts et la latence.
Taille
Doté de 56 milliards de paramètres, ce modèle fait partie
de la classe des moyens modèles (entre 20 et 70 milliards de
paramètres).
Les modèles moyens offrent un bon équilibre entre complexité, coût et performance : ils sont beaucoup moins consommateurs de ressources que les grands modèles tout en étant capables de gérer des tâches complexes telles que l'analyse de sentiment ou le raisonnement.
Pour aller plus loin
Pour les expert·es, consultez la fiche du modèle sur Hugging Face.
Les calculs d’impacts environnementaux reposent sur les projets EcoLogits et Impact
CO2.