Des votes… au classement des modèles
Merci pour vos contributions !
Le classement compar:IA repose sur l’ensemble des votes et réactions issus de la comparaison à l'aveugle des modèles et collectés depuis l’ouverture du service au public en octobre 2024.
Construit en partenariat avec le Pôle d'Expertise de la Régulation Numérique (PEReN), le classement des modèles est établi en fonction du score de satisfaction calculé à partir du modèle statistique Bradley Terry, méthode largement répandue pour convertir des votes binaires en classement probabiliste.
Le classement compar:IA n’a pas vocation à constituer une recommandation officielle ni à évaluer la performance technique des modèles. Il reflète les préférences subjectives des utilisateurs de la plateforme et non la factualité ou la véracité des réponses.
Mise à jour le 8/3/2026
Télécharger les donnéesModèle | Score de satisfaction BT Infobulle Score statistique estimé selon le modèle Bradley-Terry reflétant la probabilité qu'un modèle soit préféré à un autre. Ce score est calculé à partir de l'ensemble des votes et réactions des utilisateurs. Pour en savoir plus, rendez-vous sur l’onglet méthodologie. | Confiance (±) Infobulle Intervalle indiquant la fiabilité du rang de classement : plus l'intervalle est étroit, plus l'estimation du rang est fiable. Il y a 95% de chances que le vrai rang du modèle soit dans cette plage. | Total votes | Conso. moyenne (1000 tokens) Infobulle Mesurée en milliwattheures, l’énergie consommée représente l'électricité utilisée par le modèle pour traiter une requête et générer la réponse correspondante. La consommation énergétique des modèles dépend de leur taille et de leur architecture. Nous prenons le parti d’afficher en grisé non analysés (N/A) les modèles propriétaires pour lesquels nous ne disposons pas d’information transparente sur la taille et l’architecture. | Taille (paramètres) Infobulle Taille du modèle en milliards de paramètres, catégorisée selon cinq classes. Pour les modèles propriétaires, cette taille n’est pas communiquée. | Architecture Infobulle L'architecture d'un modèle LLM désigne les principes de conception qui définissent comment les composants d'un réseau de neurones sont agencés et interagissent pour transformer les données d'entrée en sorties prédictives, incluant le mode d'activation des paramètres (dense vs. sparse), la spécialisation des composants et les mécanismes de traitement de l'information (transformers, réseaux convolutifs, architectures hybrides). | Date sortie | Organisation | Licence | |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 1144 | -4/+0 | 1454 | N/A | L - (estimation) | Propriétaire | 3/26 | OpenAI | ||
| 2 | 1134 | -4/+1 | 3854 | N/A | XL - (estimation) | Propriétaire | 12/25 | |||
| 3 | 1125 | -9/+2 | 5921 | N/A | XL - (estimation) | Propriétaire | 2/26 | Anthropic | ||
| 4 | 1118 | -12/+3 | 2657 | N/A | L - (estimation) | Propriétaire | 3/26 | |||
| 5 | 1112 | -15/+4 | 2241 | N/A | L - (estimation) | Propriétaire | 4/26 | OpenAI | ||
| 6 | 1107 | -16/+3 | 2551 | N/A | L - (estimation) | Propriétaire | 3/26 | OpenAI | ||
| 7 | 1107 | -13/+4 | 6362 | N/A | XL - (estimation) | Propriétaire | 12/24 | |||
| 8 | 1102 | -16/+5 | 3039 | N/A | XL - (estimation) | Propriétaire | 9/25 | Alibaba | ||
| 9 | 1102 | -17/+6 | 2157 | 117 mWh | S - 31 Mds | Dense | 4/26 | |||
| 10 | 1098 | -17/+6 | 2902 | N/A | S - (estimation) | Propriétaire | 3/26 | OpenAI | ||
| 11 | 1096 | -24/+8 | 1120 | N/A | L - (estimation) | Propriétaire | 12/25 | OpenAI | ||
| 12 | 1092 | -17/+9 | 3081 | N/A | XL - (estimation) | Propriétaire | 6/25 | |||
| 13 | 1091 | -22/+10 | 2059 | 84 mWh | S - 26 Mds | MoE | 4/26 | |||
| 14 | 1091 | -17/+10 | 3622 | 3979 mWh | XL - 685 Mds | MoE | 3/25 | DeepSeek | ||
| 15 | 1090 | -21/+13 | 766 | N/A | L - (estimation) | Propriétaire | 11/25 | OpenAI | ||
| 16 | 1090 | -16/+12 | 2736 | N/A | XL - (estimation) | Propriétaire | 2/25 | Anthropic | ||
| 17 | 1089 | -17/+14 | 3783 | 3979 mWh | XL - 671 Mds | MoE | 12/24 | DeepSeek | ||
| 18 | 1088 | -13/+14 | 4677 | N/A | XL - (estimation) | Propriétaire | 9/25 | Anthropic | ||
| 19 | 1080 | -22/+15 | 1195 | N/A | L - (estimation) | Propriétaire | 6/25 | Mistral AI | ||
| 20 | 1076 | -21/+14 | 2115 | 1524 mWh | L - 284 Mds | MoE | 4/26 | DeepSeek | ||
| 21 | 1075 | -20/+14 | 1782 | 3785 mWh | XL - 1000 Mds | MoE | 9/25 | Moonshot AI | ||
| 22 | 1073 | -21/+16 | 1252 | 332 mWh | M - 80 Mds | MoE | 2/26 | Alibaba | ||
| 23 | 1072 | -19/+15 | 2238 | N/A | XL - (estimation) | Propriétaire | 5/25 | Anthropic | ||
| 24 | 1069 | -20/+17 | 1368 | N/A | XL - (estimation) | Propriétaire | 5/26 | |||
| 25 | 1069 | -16/+14 | 6466 | 112 mWh | S - 27 Mds | Dense | 3/25 | |||
| 26 | 1067 | -17/+16 | 3463 | N/A | XL - (estimation) | Propriétaire | 2/26 | |||
| 27 | 1067 | -16/+14 | 6112 | N/A | L - (estimation) | Propriétaire | 8/25 | Mistral AI | ||
| 28 | 1066 | -15/+14 | 4968 | N/A | M - (estimation) | Propriétaire | 4/25 | OpenAI | ||
| 29 | 1063 | -16/+18 | 2472 | 3979 mWh | XL - 685 Mds | MoE | 12/25 | DeepSeek | ||
| 30 | 1060 | -19/+14 | 2666 | N/A | XS - (estimation) | Propriétaire | 3/26 | OpenAI | ||
| 31 | 1060 | -21/+21 | 1163 | 3979 mWh | XL - 685 Mds | MoE | 8/25 | DeepSeek | ||
| 32 | 1059 | -20/+23 | 868 | N/A | XL - (estimation) | Propriétaire | 11/25 | |||
| 33 | 1056 | -19/+19 | 1488 | 1524 mWh | L - 398 Mds | MoE | 1/26 | Arcee | ||
| 34 | 1056 | -23/+24 | 633 | 1951 mWh | XL - 480 Mds | MoE | 7/25 | Alibaba | ||
| 35 | 1051 | -16/+18 | 4916 | 4134 mWh | XL - 675 Mds | MoE | 12/25 | Mistral AI | ||
| 36 | 1047 | -18/+18 | 1837 | N/A | S - (estimation) | Propriétaire | 8/25 | OpenAI | ||
| 37 | 1046 | -16/+15 | 4824 | 857 mWh | L - 111 Mds | Dense | 3/25 | Cohere | ||
| 38 | 1046 | -18/+20 | 1542 | N/A | S - (estimation) | Propriétaire | 4/25 | OpenAI | ||
| 39 | 1044 | -17/+22 | 1735 | 8890 mWh | XL - 1600 Mds | MoE | 4/26 | DeepSeek | ||
| 40 | 1041 | -14/+13 | 4194 | 109 mWh | S - 24 Mds | Dense | 6/25 | Mistral AI | ||
| 41 | 1039 | -13/+12 | 6318 | 94 mWh | XS - 12 Mds | Dense | 3/25 | |||
| 42 | 1038 | -13/+14 | 5761 | N/A | XL - (estimation) | Propriétaire | 9/24 | |||
| 43 | 1037 | -21/+20 | 1358 | N/A | L - (estimation) | Propriétaire | 8/25 | OpenAI | ||
| 44 | 1037 | -26/+27 | 872 | 1524 mWh | L - 398 Mds | MoE | 4/26 | Arcee | ||
| 45 | 1036 | -11/+16 | 4710 | 1601 mWh | XL - 400 Mds | MoE | 4/25 | Meta | ||
| 46 | 1035 | -29/+29 | 588 | 1892 mWh | L - 355 Mds | MoE | 7/25 | Zhipu | ||
| 47 | 1033 | -17/+18 | 2567 | 347 mWh | L - 119 Mds | MoE | 3/26 | Mistral AI | ||
| 48 | 1032 | -15/+18 | 4209 | N/A | XL - (estimation) | Propriétaire | 10/24 | Anthropic | ||
| 49 | 1024 | -25/+19 | 1373 | 3785 mWh | XL - 1000 Mds | MoE | 4/26 | Moonshot AI | ||
| 50 | 1020 | -28/+19 | 1142 | N/A | S - (estimation) | Propriétaire | 11/24 | OpenAI | ||
| 51 | 1019 | -24/+16 | 2319 | 109 mWh | S - 24 Mds | Dense | 6/25 | Mistral AI | ||
| 52 | 1015 | -25/+17 | 2484 | 3785 mWh | XL - 1000 Mds | MoE | 1/26 | Moonshot AI | ||
| 53 | 1015 | -20/+11 | 6924 | 400 mWh | L - 109 Mds | MoE | 4/25 | Meta | ||
| 54 | 1014 | -28/+21 | 969 | 3785 mWh | XL - 1000 Mds | MoE | 11/25 | Moonshot AI | ||
| 55 | 1013 | -30/+27 | 487 | 1892 mWh | L - 357 Mds | MoE | 9/25 | Zhipu | ||
| 56 | 1011 | -19/+14 | 7137 | 84 mWh | XS - 4 Mds | Dense | 3/25 | |||
| 57 | 1011 | -23/+20 | 1628 | 81 mWh | XS - 8 Mds | MoE | 10/25 | Liquid | ||
| 58 | 1006 | -25/+16 | 1767 | 3979 mWh | XL - 685 Mds | MoE | 5/25 | DeepSeek | ||
| 59 | 1006 | -21/+14 | 4314 | 84 mWh | XS - 8 Mds | Matformer | 5/25 | |||
| 60 | 1006 | -22/+18 | 2315 | 3979 mWh | XL - 671 Mds | MoE | 1/25 | DeepSeek | ||
| 61 | 1002 | -19/+16 | 3959 | N/A | S - (estimation) | Propriétaire | 4/25 | OpenAI | ||
| 62 | 1001 | -20/+16 | 4920 | 658 mWh | M - 70 Mds | Dense | 10/24 | Nvidia | ||
| 63 | 1000 | -22/+21 | 1600 | 733 mWh | L - 229 Mds | MoE | 2/26 | MiniMax | ||
| 64 | 998 | -20/+18 | 2816 | 658 mWh | M - 70 Mds | Dense | 8/25 | Nous | ||
| 65 | 997 | -23/+26 | 923 | 733 mWh | L - 230 Mds | MoE | 10/25 | MiniMax | ||
| 66 | 997 | -18/+20 | 3257 | N/A | S - (estimation) | Propriétaire | 2/25 | Mistral AI | ||
| 67 | 996 | -17/+21 | 3423 | 109 mWh | S - 24 Mds | Dense | 3/25 | Mistral AI | ||
| 68 | 995 | -17/+23 | 1591 | N/A | XL - (estimation) | Propriétaire | 4/26 | Alibaba | ||
| 69 | 992 | -16/+19 | 4940 | N/A | S - (estimation) | Propriétaire | 7/24 | OpenAI | ||
| 70 | 991 | -15/+17 | 7402 | 658 mWh | M - 70 Mds | Dense | 12/24 | Meta | ||
| 71 | 988 | -15/+18 | 3479 | 118 mWh | S - 32 Mds | Dense | 12/24 | Cohere | ||
| 72 | 988 | -21/+27 | 679 | 112 mWh | S - 27 Mds | Dense | 6/24 | |||
| 73 | 985 | -17/+18 | 3434 | 658 mWh | M - 70 Mds | Dense | 9/25 | Swiss AI | ||
| 74 | 979 | -15/+17 | 3958 | N/A | XL - (estimation) | Propriétaire | 8/24 | OpenAI | ||
| 75 | 978 | -19/+24 | 1113 | 89 mWh | XS - 8 Mds | Dense | 4/26 | IBM | ||
| 76 | 978 | -14/+22 | 2272 | 109 mWh | S - 24 Mds | Dense | 1/25 | Mistral AI | ||
| 77 | 977 | -15/+23 | 1835 | 82 mWh | S - 24 Mds | MoE | 2/26 | Liquid | ||
| 78 | 976 | -11/+17 | 4407 | 658 mWh | M - 70 Mds | Dense | 7/24 | Meta | ||
| 79 | 976 | -13/+22 | 2027 | 106 mWh | S - 22 Mds | Dense | 12/25 | EuroLLM | ||
| 80 | 971 | -12/+16 | 3555 | 342 mWh | L - 117 Mds | MoE | 8/25 | OpenAI | ||
| 81 | 970 | -13/+21 | 1493 | 733 mWh | L - 230 Mds | MoE | 3/26 | MiniMax | ||
| 82 | 964 | -12/+11 | 7937 | 9134 mWh | XL - 405 Mds | Dense | 7/24 | Meta | ||
| 83 | 964 | -11/+13 | 4818 | 9134 mWh | XL - 405 Mds | Dense | 7/24 | Nous | ||
| 84 | 956 | -15/+14 | 1392 | 4095 mWh | XL - 744 Mds | MoE | 4/26 | Zhipu | ||
| 85 | 952 | -14/+16 | 1347 | N/A | XS - (estimation) | Propriétaire | 4/25 | OpenAI | ||
| 86 | 950 | -16/+18 | 832 | N/A | XL - (estimation) | Propriétaire | 5/26 | Alibaba | ||
| 87 | 950 | -12/+14 | 2344 | 1601 mWh | L - 397 Mds | MoE | 2/26 | Alibaba | ||
| 88 | 943 | -10/+11 | 3994 | 90 mWh | XS - 9 Mds | Dense | 6/24 | |||
| 89 | 943 | -13/+16 | 1512 | 4095 mWh | XL - 744 Mds | MoE | 2/26 | Zhipu | ||
| 90 | 940 | -15/+17 | 905 | 89 mWh | XS - 8 Mds | Dense | 10/24 | Cohere | ||
| 91 | 940 | -10/+14 | 1778 | 376 mWh | L - 120 Mds | MoE | 3/26 | Nvidia | ||
| 92 | 938 | -5/+11 | 6664 | 96 mWh | XS - 14 Mds | Dense | 12/24 | Microsoft | ||
| 93 | 922 | -10/+14 | 1240 | 1892 mWh | L - 357 Mds | MoE | 12/25 | Zhipu | ||
| 94 | 922 | -9/+15 | 1693 | 658 mWh | M - 70 Mds | Dense | 1/25 | DeepSeek | ||
| 95 | 918 | -8/+16 | 1058 | 83 mWh | S - 30 Mds | MoE | 5/25 | Alibaba | ||
| 96 | 916 | -7/+12 | 4522 | 83 mWh | S - 21 Mds | MoE | 8/25 | OpenAI | ||
| 97 | 915 | -6/+12 | 7502 | 89 mWh | XS - 8 Mds | Dense | 7/24 | Meta | ||
| 98 | 911 | -5/+13 | 2297 | 193 mWh | S - 56 Mds | MoE | 12/23 | Mistral AI | ||
| 99 | 907 | -3/+12 | 2683 | 166 mWh | S - 35 Mds | MoE | 2/26 | Alibaba | ||
| 100 | 896 | -4/+12 | 1315 | 88 mWh | XS - 7 Mds | Dense | 9/24 | Alibaba | ||
| 101 | 891 | -3/+12 | 2789 | N/A | S - (estimation) | Propriétaire | 9/24 | Liquid | ||
| 102 | 873 | -4/+3 | 5046 | 94 mWh | XS - 12 Mds | Dense | 7/24 | Mistral AI | ||
| 103 | 871 | -7/+15 | 205 | 89 mWh | XS - 8 Mds | Dense | 7/25 | Alibaba | ||
| 104 | 865 | -3/+6 | 985 | 118 mWh | S - 32 Mds | Dense | 4/25 | Alibaba | ||
| 105 | 859 | -2/+4 | 4355 | 1063 mWh | L - 176 Mds | MoE | 4/24 | Mistral AI | ||
| 106 | 850 | -4/+5 | 1386 | 88 mWh | XS - 14 Mds | Dense | 2/25 | jpacifico | ||
| 107 | 837 | -3/+5 | 2383 | 83 mWh | XS - 3.8 Mds | Dense | 8/24 | Microsoft | ||
| 108 | 790 | -3/+4 | 308 | 96 mWh | XS - 14 Mds | Dense | 9/24 | jpacifico | ||
| 109 | 759 | -2/+1 | 752 | 118 mWh | S - 32 Mds | Dense | 11/25 | Ai2 | ||
| 110 | 758 | -1/+6 | 65 | 90 mWh | XS - 9 Mds | Dense | 5/24 | 01-ai | ||
| 111 | 749 | -0/+7 | 80 | 88 mWh | XS - 7 Mds | Dense | 7/24 | Alibaba |
Les modèles les plus appréciés sont-ils économes en énergie ?
Ce graphique représente pour chaque modèle le score de satisfaction (score Bradley Terry) en fonction de l’estimation de la consommation énergétique moyenne pour 1000 tokens. La consommation énergétique est estimée à partir de la méthodologie Ecologits et repose sur la prise en compte de deux paramètres: la taille des modèles (nombre de paramètres) et leur architecture. Pour les modèles propriétaires, ces informations ne sont pas ou que partiellement communiquées. C’est pourquoi ils sont exclus du graphique ci-dessous.
Score de satisfaction Bradley-Terry (BT) VS Consommation moyenne pour 1000 tokens
Sélectionnez un modèle pour connaitre son score Bradley-Terry (BT) et sa consommation énergétique
Architecture du modèle
- MoE Infobulle L’architecture Mixture of Experts (MoE) utilise un mécanisme de routage pour n’activer, en fonction de l’entrée, que certains sous-ensembles spécialisés (“experts”) du réseau de neurones. Cela permet de construire des modèles très grands tout en gardant un coût de calcul réduit, car seule une partie du réseau est utilisée à chaque étape.
- Dense Infobulle L’architecture dense désigne un type de réseau de neurones dans lequel chaque neurone d’une couche est connecté à tous les neurones de la couche suivante. Cela permet à tous les paramètres de la couche de contribuer au calcul de la sortie.
- Matformer Infobulle Imaginez des poupées russes (matryoshkas → matryoshka transformer → Matformer) : chaque bloc contient plusieurs sous-modèles imbriqués de tailles croissantes, partageant les mêmes paramètres. Cela permet, à chaque requête, de sélectionner un modèle de capacité adaptée, selon la mémoire ou la latence disponibles, sans avoir besoin de ré-entraîner différents modèles.
Comment trouver le bon équilibre entre performance perçue et sobriété énergétique ? Exemples de lecture du graphique
- Plus un modèle est situé en haut du graphique, plus son score de satisfaction Bradley-Terry est élevé. Plus un modèle est situé sur la gauche du graphique, moins il consomme d’énergie par rapport aux autres modèles.
- En haut à gauche se trouvent les modèles qui plaisent et qui consomment peu d’énergie par rapport aux autres modèles.
- Au-delà de la taille, l’architecture a un impact sur la consommation énergétique moyenne des modèles: par exemple, à gabarit similaire, le modèle Llama 3 405B (architecture dense, 405 milliards de paramètres) consomme 10 fois plus d’énergie en moyenne que le modèle GLM 4.5 (architecture MOE, 355 milliards de paramètres et 32 milliards de paramètres actifs).
Pourquoi les modèles propriétaires ne sont-ils pas affichés sur le graphique ?
L’estimation de la consommation énergétique pour l’inférence des modèles repose sur la méthodologie Ecologits qui prend en compte la taille et l’architecture des modèles. Or ces informations ne sont pas rendues publiques par les éditeurs de modèles pour les modèles dits « propriétaires ».
Nous prenons ainsi le parti de ne pas intégrer les modèles propriétaires au graphique tant que les informations contribuant au calcul de consommation énergétique ne sont pas transparentes.
Comment est calculé l’impact énergétique des modèles ?
compar:IA utilise la méthodologie développée par Ecologits (GenAI Impact) pour fournir une estimation du bilan énergétique lié à l’inférence des modèles d’IA générative conversationnelle. Cette estimation permet aux utilisateurs de comparer l'impact environnemental de différents modèles d'IA pour une même requête. Cette transparence est essentielle pour encourager le développement et l'adoption de modèles d'IA plus éco-responsables.
Ecologits applique les principes de l'analyse du cycle de vie (ACV) conformément à la norme ISO 14044 en se concentrant pour le moment sur l'impact de l'inférence (c'est-à-dire l'utilisation des modèles pour répondre aux requêtes) et de la fabrication des cartes graphiques (extraction des ressources, fabrication et transport).
La consommation électrique du modèle est estimée en tenant compte de divers paramètres tels que la taille et l’architecture du modèle d'IA utilisé, la localisation des serveurs où sont déployés les modèles et le nombre de tokens de sortie. Le calcul de l’indicateur de potentiel de réchauffement climatique exprimé en équivalent CO2 est dérivé de la mesure de consommation électrique du modèle.
Il est important de noter que les méthodologies d'évaluation de l'impact environnemental de l'IA sont encore en développement.
Données du graphique en tableau
Mise à jour le 8/3/2026
Télécharger les donnéesModèle | Score de satisfaction BT Infobulle Score statistique estimé selon le modèle Bradley-Terry reflétant la probabilité qu'un modèle soit préféré à un autre. Ce score est calculé à partir de l'ensemble des votes et réactions des utilisateurs. Pour en savoir plus, rendez-vous sur l’onglet méthodologie. | Conso. moyenne (1000 tokens) Infobulle Mesurée en milliwattheures, l’énergie consommée représente l'électricité utilisée par le modèle pour traiter une requête et générer la réponse correspondante. La consommation énergétique des modèles dépend de leur taille et de leur architecture. Nous prenons le parti d’afficher en grisé non analysés (N/A) les modèles propriétaires pour lesquels nous ne disposons pas d’information transparente sur la taille et l’architecture. | Taille (paramètres) Infobulle Taille du modèle en milliards de paramètres, catégorisée selon cinq classes. Pour les modèles propriétaires, cette taille n’est pas communiquée. | Architecture Infobulle L'architecture d'un modèle LLM désigne les principes de conception qui définissent comment les composants d'un réseau de neurones sont agencés et interagissent pour transformer les données d'entrée en sorties prédictives, incluant le mode d'activation des paramètres (dense vs. sparse), la spécialisation des composants et les mécanismes de traitement de l'information (transformers, réseaux convolutifs, architectures hybrides). | Organisation | Licence |
|---|---|---|---|---|---|---|
| 1011 | 81 mWh | XS - 8 Mds | MoE | Liquid | Semi-ouvert | |
| 977 | 82 mWh | S - 24 Mds | MoE | Liquid | Semi-ouvert | |
| 918 | 83 mWh | S - 30 Mds | MoE | Alibaba | Semi-ouvert | |
| 916 | 83 mWh | S - 21 Mds | MoE | OpenAI | Semi-ouvert | |
| 837 | 83 mWh | XS - 3.8 Mds | Dense | Microsoft | Semi-ouvert | |
| 1091 | 84 mWh | S - 26 Mds | MoE | Semi-ouvert | ||
| 1011 | 84 mWh | XS - 4 Mds | Dense | Semi-ouvert | ||
| 1006 | 84 mWh | XS - 8 Mds | Matformer | Semi-ouvert | ||
| 896 | 88 mWh | XS - 7 Mds | Dense | Alibaba | Semi-ouvert | |
| 850 | 88 mWh | XS - 14 Mds | Dense | jpacifico | Semi-ouvert | |
| 749 | 88 mWh | XS - 7 Mds | Dense | Alibaba | Semi-ouvert | |
| 978 | 89 mWh | XS - 8 Mds | Dense | IBM | Semi-ouvert | |
| 940 | 89 mWh | XS - 8 Mds | Dense | Cohere | Semi-ouvert | |
| 915 | 89 mWh | XS - 8 Mds | Dense | Meta | Semi-ouvert | |
| 871 | 89 mWh | XS - 8 Mds | Dense | Alibaba | Semi-ouvert | |
| 943 | 90 mWh | XS - 9 Mds | Dense | Semi-ouvert | ||
| 758 | 90 mWh | XS - 9 Mds | Dense | 01-ai | Semi-ouvert | |
| 1039 | 94 mWh | XS - 12 Mds | Dense | Semi-ouvert | ||
| 873 | 94 mWh | XS - 12 Mds | Dense | Mistral AI | Semi-ouvert | |
| 938 | 96 mWh | XS - 14 Mds | Dense | Microsoft | Semi-ouvert | |
| 790 | 96 mWh | XS - 14 Mds | Dense | jpacifico | Semi-ouvert | |
| 976 | 106 mWh | S - 22 Mds | Dense | EuroLLM | Semi-ouvert | |
| 1041 | 109 mWh | S - 24 Mds | Dense | Mistral AI | Semi-ouvert | |
| 1019 | 109 mWh | S - 24 Mds | Dense | Mistral AI | Semi-ouvert | |
| 996 | 109 mWh | S - 24 Mds | Dense | Mistral AI | Semi-ouvert | |
| 978 | 109 mWh | S - 24 Mds | Dense | Mistral AI | Semi-ouvert | |
| 1069 | 112 mWh | S - 27 Mds | Dense | Semi-ouvert | ||
| 988 | 112 mWh | S - 27 Mds | Dense | Semi-ouvert | ||
| 1102 | 117 mWh | S - 31 Mds | Dense | Semi-ouvert | ||
| 988 | 118 mWh | S - 32 Mds | Dense | Cohere | Semi-ouvert | |
| 865 | 118 mWh | S - 32 Mds | Dense | Alibaba | Semi-ouvert | |
| 759 | 118 mWh | S - 32 Mds | Dense | Ai2 | Open source | |
| 907 | 166 mWh | S - 35 Mds | MoE | Alibaba | Semi-ouvert | |
| 911 | 193 mWh | S - 56 Mds | MoE | Mistral AI | Semi-ouvert | |
| 1073 | 332 mWh | M - 80 Mds | MoE | Alibaba | Semi-ouvert | |
| 971 | 342 mWh | L - 117 Mds | MoE | OpenAI | Semi-ouvert | |
| 1033 | 347 mWh | L - 119 Mds | MoE | Mistral AI | Semi-ouvert | |
| 940 | 376 mWh | L - 120 Mds | MoE | Nvidia | Semi-ouvert | |
| 1015 | 400 mWh | L - 109 Mds | MoE | Meta | Semi-ouvert | |
| 1001 | 658 mWh | M - 70 Mds | Dense | Nvidia | Semi-ouvert | |
| 998 | 658 mWh | M - 70 Mds | Dense | Nous | Semi-ouvert | |
| 991 | 658 mWh | M - 70 Mds | Dense | Meta | Semi-ouvert | |
| 985 | 658 mWh | M - 70 Mds | Dense | Swiss AI | Open source | |
| 976 | 658 mWh | M - 70 Mds | Dense | Meta | Semi-ouvert | |
| 922 | 658 mWh | M - 70 Mds | Dense | DeepSeek | Semi-ouvert | |
| 1000 | 733 mWh | L - 229 Mds | MoE | MiniMax | Semi-ouvert | |
| 997 | 733 mWh | L - 230 Mds | MoE | MiniMax | Semi-ouvert | |
| 970 | 733 mWh | L - 230 Mds | MoE | MiniMax | Semi-ouvert | |
| 1046 | 857 mWh | L - 111 Mds | Dense | Cohere | Semi-ouvert | |
| 859 | 1063 mWh | L - 176 Mds | MoE | Mistral AI | Semi-ouvert | |
| 1076 | 1524 mWh | L - 284 Mds | MoE | DeepSeek | Semi-ouvert | |
| 1056 | 1524 mWh | L - 398 Mds | MoE | Arcee | Semi-ouvert | |
| 1037 | 1524 mWh | L - 398 Mds | MoE | Arcee | Semi-ouvert | |
| 1036 | 1601 mWh | XL - 400 Mds | MoE | Meta | Semi-ouvert | |
| 950 | 1601 mWh | L - 397 Mds | MoE | Alibaba | Semi-ouvert | |
| 1035 | 1892 mWh | L - 355 Mds | MoE | Zhipu | Semi-ouvert | |
| 1013 | 1892 mWh | L - 357 Mds | MoE | Zhipu | Semi-ouvert | |
| 922 | 1892 mWh | L - 357 Mds | MoE | Zhipu | Semi-ouvert | |
| 1056 | 1951 mWh | XL - 480 Mds | MoE | Alibaba | Semi-ouvert | |
| 1075 | 3785 mWh | XL - 1000 Mds | MoE | Moonshot AI | Semi-ouvert | |
| 1024 | 3785 mWh | XL - 1000 Mds | MoE | Moonshot AI | Semi-ouvert | |
| 1015 | 3785 mWh | XL - 1000 Mds | MoE | Moonshot AI | Semi-ouvert | |
| 1014 | 3785 mWh | XL - 1000 Mds | MoE | Moonshot AI | Semi-ouvert | |
| 1091 | 3979 mWh | XL - 685 Mds | MoE | DeepSeek | Semi-ouvert | |
| 1089 | 3979 mWh | XL - 671 Mds | MoE | DeepSeek | Semi-ouvert | |
| 1063 | 3979 mWh | XL - 685 Mds | MoE | DeepSeek | Semi-ouvert | |
| 1060 | 3979 mWh | XL - 685 Mds | MoE | DeepSeek | Semi-ouvert | |
| 1006 | 3979 mWh | XL - 685 Mds | MoE | DeepSeek | Semi-ouvert | |
| 1006 | 3979 mWh | XL - 671 Mds | MoE | DeepSeek | Semi-ouvert | |
| 956 | 4095 mWh | XL - 744 Mds | MoE | Zhipu | Semi-ouvert | |
| 943 | 4095 mWh | XL - 744 Mds | MoE | Zhipu | Semi-ouvert | |
| 1051 | 4134 mWh | XL - 675 Mds | MoE | Mistral AI | Semi-ouvert | |
| 1044 | 8890 mWh | XL - 1600 Mds | MoE | DeepSeek | Semi-ouvert | |
| 964 | 9134 mWh | XL - 405 Mds | Dense | Meta | Semi-ouvert | |
| 964 | 9134 mWh | XL - 405 Mds | Dense | Nous | Semi-ouvert |
Comment choisir la méthode de classement des modèles ?
Depuis 2024, des milliers d’utilisateurs ont utilisé compar:IA pour comparer les réponses de différents modèles, générant ainsi des centaines de milliers de votes. Compter simplement le nombre de victoires ne suffit pas pour établir un classement. Un système équitable doit être statistiquement robuste, s’ajuster après chaque confrontation, et refléter réellement la valeur des performances obtenues.
C’est dans cette perspective qu’a été mis en place un classement basé sur le modèle Bradley-Terry, élaboré en collaboration avec les équipes du Pôle d’Expertise de la Régulation numérique (PEReN), à partir de l’ensemble des votes et réactions collectés sur la plateforme. Pour aller plus loin, consultez notre carnet méthodologique.
Deux manières de classer les modèles
Classement par taux de victoire
Définition : Système de classement empirique des modèles reposant sur le pourcentage de parties gagnées par un modèle contre tous les autres modèles.
Problèmes principaux
- Biais du nombre de parties : un modèle ayant remporté trois victoires sur trois “matchs” affiche un taux de victoire de 100 %, mais ce score est peu significatif étant basé sur très peu de données.
- Aucune prise en compte de la difficulté des matchs : battre un modèle “débutant” ou un “expert” compte pareil. Les taux de victoire ne sont pas équitables puisqu’ils ne tiennent pas compte de la difficulté des matchs.
- Stagnation : à long terme, beaucoup de bons modèles finissent autour de 50 % de taux de victoire car ils affrontent des modèles de leur niveau, ce qui rend le classement peu discriminant.
Classement Bradley-Terry (BT)
Définition : Système de classement où le gain ou la perte de points dépend du résultat (victoire/défaite/nul et du niveau estimé de l’adversaire : si un modèle plus faible bat un modèle plus fort, sa progression dans le classement est plus importante.
Avantages
- Modèle probabiliste : on peut estimer le résultat probable de n'importe quelle confrontation, même entre des modèles n'ayant jamais été directement comparés.
- Prise en compte de la difficulté des matchs : les scores estimés à partir du modèle Bradley Terry tiennent compte du niveau des adversaires rencontrés, permettant une comparaison équitable entre modèles.
- Meilleure gestion de l’incertitude : l'intervalle de confiance intègre l'ensemble du réseau de comparaisons. Cela permet une estimation plus précise de l'incertitude, surtout pour les modèles ayant peu de confrontations directes mais beaucoup d'adversaires communs.
Contrôle du style : neutraliser l’effet de la présentation
Un modèle peut grimper dans le classement simplement en répondant plus longuement ou avec une mise en forme plus riche (titres, gras, listes), sans être plus pertinent sur le fond. Le contrôle du style, inspiré du « Style Control » de LMArena, retire cet effet : une régression logistique sépare, dans chaque vote, ce qui revient à la force du modèle de ce qui revient à la présentation.
Le score affiché devient alors un Elo « débiaisé du style » : le classement que l’on obtiendrait si les deux réponses comparées étaient mises en forme de la même manière. Le contrôle du style est activé par défaut ; le bouton « Contrôle du style » en haut du tableau permet de revenir au classement Bradley-Terry brut pour comparer.
Effet mesuré de la présentation
Coefficients de la régression estimés sur l’ensemble des votes. Une valeur positive indique que cet axe de présentation est associé à une probabilité de victoire plus élevée une fois la force du modèle prise en compte. C’est précisément la part que le contrôle du style retire du classement.
- Longueur de la réponse +0.307
- Titres +0.087
- Texte en gras +0.163
- Listes à puces +0.061
La longueur et les marqueurs markdown sont corrélés : ces coefficients se lisent conjointement, et non comme des effets indépendants pris isolément.
Impact du choix de la méthode sur le classement des modèles
10 premiers modèles du classement selon de taux de victoire « empirique »
En se basant uniquement sur le taux de victoire moyen, on peut obtenir un classement global, mais ce calcul suppose que chaque modèle ait joué contre tous les autres.
Cette méthode n'est pas idéale car elle nécessite les données de toutes les combinaisons de modèles et ès qu’on augmente le nombre de modèles, cela devient vite coûteux et lourd à maintenir.
10 premiers modèles du classement selon de taux de victoire estimé avec le modèle Bradley-Terry
Le modèle Bradley-Terry transforme un ensemble de comparaisons locales et potentiellement incomplètes en un système de classement global cohérent et statistiquement robuste, là où le taux de victoire empirique reste limité aux observations directes.