Des votes… au classement des modèles
Merci pour vos contributions !
Le classement compar:IA repose sur l’ensemble des votes et réactions issus de la comparaison à l'aveugle des modèles et collectés depuis l’ouverture du service au public en octobre 2024.
Construit en partenariat avec le Pôle d'Expertise de la Régulation Numérique (PEReN), le classement des modèles est établi en fonction du score de satisfaction calculé à partir du modèle statistique Bradley Terry, méthode largement répandue pour convertir des votes binaires en classement probabiliste.
Le classement compar:IA n’a pas vocation à constituer une recommandation officielle ni à évaluer la performance technique des modèles. Il reflète les préférences subjectives des utilisateurs de la plateforme et non la factualité ou la véracité des réponses.
Mise à jour le 2/11/2026
Télécharger les donnéesModèle | Score de satisfaction BT Infobulle Score statistique estimé selon le modèle Bradley-Terry reflétant la probabilité qu'un modèle soit préféré à un autre. Ce score est calculé à partir de l'ensemble des votes et réactions des utilisateurs. Pour en savoir plus, rendez-vous sur l’onglet méthodologie. | Confiance (±) Infobulle Intervalle indiquant la fiabilité du rang de classement : plus l'intervalle est étroit, plus l'estimation du rang est fiable. Il y a 95% de chances que le vrai rang du modèle soit dans cette plage. | Total votes | Conso. moyenne (1000 tokens) Infobulle Mesurée en milliwattheures, l’énergie consommée représente l'électricité utilisée par le modèle pour traiter une requête et générer la réponse correspondante. La consommation énergétique des modèles dépend de leur taille et de leur architecture. Nous prenons le parti d’afficher en grisé non analysés (N/A) les modèles propriétaires pour lesquels nous ne disposons pas d’information transparente sur la taille et l’architecture. | Taille (paramètres) Infobulle Taille du modèle en milliards de paramètres, catégorisée selon cinq classes. Pour les modèles propriétaires, cette taille n’est pas communiquée. | Architecture Infobulle L'architecture d'un modèle LLM désigne les principes de conception qui définissent comment les composants d'un réseau de neurones sont agencés et interagissent pour transformer les données d'entrée en sorties prédictives, incluant le mode d'activation des paramètres (dense vs. sparse), la spécialisation des composants et les mécanismes de traitement de l'information (transformers, réseaux convolutifs, architectures hybrides). | Date sortie | Organisation | Licence | |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 1128 | -2/+1 | 1262 | N/A | XL - (estimation) | Propriétaire | 12/25 | |||
| 2 | 1122 | -1/+2 | 3140 | 4134 mWh | XL - 675 Mds | MoE | 12/25 | Mistral AI | ||
| 3 | 1118 | -0/+2 | 6358 | N/A | L - (estimation) | Propriétaire | 8/25 | Mistral AI | ||
| 4 | 1106 | -3/+1 | 4927 | N/A | XL - (estimation) | Propriétaire | 6/25 | |||
| 5 | 1101 | -3/+1 | 3210 | N/A | XL - (estimation) | Propriétaire | 11/25 | |||
| 6 | 1101 | -2/+2 | 3283 | N/A | XL - (estimation) | Propriétaire | 9/25 | Alibaba | ||
| 7 | 1100 | -1/+3 | 8684 | N/A | XL - (estimation) | Propriétaire | 12/24 | |||
| 8 | 1091 | -2/+2 | 4385 | 3979 mWh | XL - 685 Mds | MoE | 3/25 | DeepSeek | ||
| 9 | 1089 | -4/+3 | 2207 | N/A | L - (estimation) | Propriétaire | 6/25 | Mistral AI | ||
| 10 | 1082 | -4/+1 | 8583 | 112 mWh | S - 27 Mds | Dense | 3/25 | |||
| 11 | 1078 | -7/+2 | 5388 | 3979 mWh | XL - 671 Mds | MoE | 12/24 | DeepSeek | ||
| 12 | 1077 | -7/+3 | 2527 | 3979 mWh | XL - 685 Mds | MoE | 8/25 | DeepSeek | ||
| 13 | 1075 | -7/+3 | 3189 | N/A | L - (estimation) | Propriétaire | 11/25 | OpenAI | ||
| 14 | 1074 | -8/+5 | 1843 | 3979 mWh | XL - 685 Mds | MoE | 12/25 | DeepSeek | ||
| 15 | 1072 | -5/+3 | 6519 | N/A | XL - (estimation) | Propriétaire | 9/25 | Anthropic | ||
| 16 | 1072 | -8/+6 | 2178 | 1892 mWh | L - 355 Mds | MoE | 7/25 | Zhipu | ||
| 17 | 1069 | -8/+5 | 2832 | N/A | L - (estimation) | Propriétaire | 12/25 | OpenAI | ||
| 18 | 1068 | -10/+8 | 1304 | 3785 mWh | XL - 1000 Mds | MoE | 11/25 | Moonshot AI | ||
| 19 | 1066 | -8/+6 | 2553 | N/A | XL - (estimation) | Propriétaire | 11/25 | xAI | ||
| 20 | 1065 | -8/+7 | 2315 | 342 mWh | L - 117 Mds | MoE | 8/25 | OpenAI | ||
| 21 | 1063 | -7/+7 | 2623 | N/A | XL - (estimation) | Propriétaire | 9/25 | xAI | ||
| 22 | 1063 | -4/+5 | 8288 | 94 mWh | XS - 12 Mds | Dense | 3/25 | |||
| 23 | 1063 | -5/+9 | 2540 | N/A | XL - (estimation) | Propriétaire | 5/25 | Anthropic | ||
| 24 | 1060 | -7/+10 | 1537 | N/A | L - (estimation) | Propriétaire | 4/25 | xAI | ||
| 25 | 1059 | -4/+6 | 5510 | 109 mWh | S - 24 Mds | Dense | 6/25 | Mistral AI | ||
| 26 | 1057 | -6/+9 | 1746 | 3785 mWh | XL - 1000 Mds | MoE | 9/25 | Moonshot AI | ||
| 27 | 1055 | -6/+8 | 2097 | 3979 mWh | XL - 685 Mds | MoE | 5/25 | DeepSeek | ||
| 28 | 1055 | -2/+6 | 7866 | 857 mWh | L - 111 Mds | Dense | 3/25 | Cohere | ||
| 29 | 1049 | -5/+4 | 3147 | 109 mWh | S - 24 Mds | Dense | 6/25 | Mistral AI | ||
| 30 | 1048 | -4/+5 | 3907 | N/A | XL - (estimation) | Propriétaire | 2/25 | Anthropic | ||
| 31 | 1047 | -5/+8 | 1557 | 1951 mWh | XL - 480 Mds | MoE | 7/25 | Alibaba | ||
| 32 | 1045 | -4/+5 | 2769 | 1892 mWh | L - 357 Mds | MoE | 9/25 | Zhipu | ||
| 33 | 1043 | -2/+4 | 6709 | 658 mWh | M - 70 Mds | Dense | 10/24 | Nvidia | ||
| 34 | 1036 | -9/+8 | 820 | 1892 mWh | L - 357 Mds | MoE | 12/25 | Zhipu | ||
| 35 | 1035 | -3/+2 | 9361 | 84 mWh | XS - 4 Mds | Dense | 3/25 | |||
| 36 | 1033 | -4/+3 | 4676 | 84 mWh | XS - 8 Mds | Matformer | 5/25 | |||
| 37 | 1031 | -3/+3 | 7173 | N/A | M - (estimation) | Propriétaire | 4/25 | OpenAI | ||
| 38 | 1030 | -3/+4 | 7387 | N/A | XL - (estimation) | Propriétaire | 9/24 | |||
| 39 | 1025 | -5/+4 | 3510 | 3979 mWh | XL - 671 Mds | MoE | 1/25 | DeepSeek | ||
| 40 | 1020 | -6/+3 | 2352 | 118 mWh | S - 32 Mds | Dense | 4/25 | Alibaba | ||
| 41 | 1015 | -5/+4 | 3849 | 1601 mWh | XL - 400 Mds | MoE | 4/25 | Meta | ||
| 42 | 1014 | -5/+5 | 2719 | 83 mWh | S - 21 Mds | MoE | 8/25 | OpenAI | ||
| 43 | 1014 | -3/+5 | 4934 | N/A | S - (estimation) | Propriétaire | 2/25 | Mistral AI | ||
| 44 | 1012 | -3/+5 | 4459 | N/A | S - (estimation) | Propriétaire | 8/25 | OpenAI | ||
| 45 | 1010 | -3/+5 | 6565 | 400 mWh | L - 109 Mds | MoE | 4/25 | Meta | ||
| 46 | 1004 | -4/+3 | 5079 | 109 mWh | S - 24 Mds | Dense | 3/25 | Mistral AI | ||
| 47 | 1002 | -5/+3 | 2830 | N/A | S - (estimation) | Propriétaire | 4/25 | OpenAI | ||
| 48 | 999 | -3/+4 | 3843 | N/A | L - (estimation) | Propriétaire | 8/25 | OpenAI | ||
| 49 | 996 | -5/+4 | 2276 | 81 mWh | XS - 8 Mds | MoE | 10/25 | Liquid | ||
| 50 | 990 | -6/+2 | 5113 | 118 mWh | S - 32 Mds | Dense | 12/24 | Cohere | ||
| 51 | 988 | -7/+3 | 3825 | 83 mWh | S - 30 Mds | MoE | 5/25 | Alibaba | ||
| 52 | 988 | -7/+4 | 3245 | 89 mWh | XS - 8 Mds | Dense | 7/25 | Alibaba | ||
| 53 | 986 | -5/+3 | 9845 | 658 mWh | M - 70 Mds | Dense | 12/24 | Meta | ||
| 54 | 984 | -6/+5 | 3318 | 109 mWh | S - 24 Mds | Dense | 1/25 | Mistral AI | ||
| 55 | 981 | -9/+6 | 1619 | N/A | S - (estimation) | Propriétaire | 11/24 | OpenAI | ||
| 56 | 981 | -5/+4 | 6990 | N/A | S - (estimation) | Propriétaire | 7/24 | OpenAI | ||
| 57 | 978 | -7/+6 | 2415 | 658 mWh | M - 70 Mds | Dense | 9/25 | Swiss AI | ||
| 58 | 977 | -5/+4 | 5717 | N/A | S - (estimation) | Propriétaire | 4/25 | OpenAI | ||
| 59 | 976 | -6/+8 | 2160 | 733 mWh | L - 230 Mds | MoE | 10/25 | MiniMax | ||
| 60 | 973 | -8/+8 | 1302 | 89 mWh | XS - 8 Mds | Dense | 10/24 | Cohere | ||
| 61 | 971 | -4/+4 | 5583 | 658 mWh | M - 70 Mds | Dense | 7/24 | Meta | ||
| 62 | 970 | -3/+5 | 5683 | N/A | XL - (estimation) | Propriétaire | 10/24 | Anthropic | ||
| 63 | 966 | -3/+3 | 9968 | 96 mWh | XS - 14 Mds | Dense | 12/24 | Microsoft | ||
| 64 | 961 | -3/+4 | 5896 | N/A | XL - (estimation) | Propriétaire | 8/24 | OpenAI | ||
| 65 | 956 | -2/+4 | 9973 | 9134 mWh | XL - 405 Mds | Dense | 7/24 | Meta | ||
| 66 | 952 | -2/+4 | 5115 | 90 mWh | XS - 9 Mds | Dense | 6/24 | |||
| 67 | 947 | -5/+5 | 1566 | 118 mWh | S - 32 Mds | Dense | 4/25 | Alibaba | ||
| 68 | 945 | -3/+4 | 3583 | N/A | XS - (estimation) | Propriétaire | 4/25 | OpenAI | ||
| 69 | 944 | -2/+5 | 2981 | 658 mWh | M - 70 Mds | Dense | 1/25 | DeepSeek | ||
| 70 | 934 | -4/+4 | 3199 | 658 mWh | M - 70 Mds | Dense | 8/25 | Nous | ||
| 71 | 932 | -2/+3 | 10444 | 89 mWh | XS - 8 Mds | Dense | 7/24 | Meta | ||
| 72 | 925 | -1/+6 | 1417 | 88 mWh | XS - 7 Mds | Dense | 9/24 | Alibaba | ||
| 73 | 883 | -2/+0 | 2560 | 193 mWh | S - 56 Mds | MoE | 12/23 | Mistral AI | ||
| 74 | 880 | -1/+1 | 3578 | N/A | S - (estimation) | Propriétaire | 9/24 | Liquid | ||
| 75 | 868 | -2/+2 | 1196 | 118 mWh | S - 32 Mds | Dense | 11/25 | Ai2 | ||
| 76 | 860 | -1/+1 | 2535 | 83 mWh | XS - 3.8 Mds | Dense | 8/24 | Microsoft | ||
| 77 | 850 | -1/+1 | 6251 | 94 mWh | XS - 12 Mds | Dense | 7/24 | Mistral AI | ||
| 78 | 840 | -1/+1 | 5455 | 1063 mWh | L - 176 Mds | MoE | 4/24 | Mistral AI | ||
| 79 | 816 | -1/+0 | 1796 | 88 mWh | XS - 14 Mds | Dense | 2/25 | jpacifico | ||
| 80 | 764 | -2/+3 | 65 | 90 mWh | XS - 9 Mds | Dense | 5/24 | 01-ai | ||
| 81 | 749 | -1/+1 | 309 | 96 mWh | XS - 14 Mds | Dense | 9/24 | jpacifico | ||
| 82 | 727 | -0/+2 | 80 | 88 mWh | XS - 7 Mds | Dense | 7/24 | Alibaba |
Les modèles les plus appréciés sont-ils économes en énergie ?
Ce graphique représente pour chaque modèle le score de satisfaction (score Bradley Terry) en fonction de l’estimation de la consommation énergétique moyenne pour 1000 tokens. La consommation énergétique est estimée à partir de la méthodologie Ecologits et repose sur la prise en compte de deux paramètres: la taille des modèles (nombre de paramètres) et leur architecture. Pour les modèles propriétaires, ces informations ne sont pas ou que partiellement communiquées. C’est pourquoi ils sont exclus du graphique ci-dessous.
Score de satisfaction Bradley-Terry (BT) VS Consommation moyenne pour 1000 tokens
Sélectionnez un modèle pour connaitre son score Bradley-Terry (BT) et sa consommation énergétique
Architecture du modèle
- MoE Infobulle L’architecture Mixture of Experts (MoE) utilise un mécanisme de routage pour n’activer, en fonction de l’entrée, que certains sous-ensembles spécialisés (“experts”) du réseau de neurones. Cela permet de construire des modèles très grands tout en gardant un coût de calcul réduit, car seule une partie du réseau est utilisée à chaque étape.
- Dense Infobulle L’architecture dense désigne un type de réseau de neurones dans lequel chaque neurone d’une couche est connecté à tous les neurones de la couche suivante. Cela permet à tous les paramètres de la couche de contribuer au calcul de la sortie.
- Matformer Infobulle Imaginez des poupées russes (matryoshkas → matryoshka transformer → Matformer) : chaque bloc contient plusieurs sous-modèles imbriqués de tailles croissantes, partageant les mêmes paramètres. Cela permet, à chaque requête, de sélectionner un modèle de capacité adaptée, selon la mémoire ou la latence disponibles, sans avoir besoin de ré-entraîner différents modèles.
Comment trouver le bon équilibre entre performance perçue et sobriété énergétique ? Exemples de lecture du graphique
- Plus un modèle est situé en haut du graphique, plus son score de satisfaction Bradley-Terry est élevé. Plus un modèle est situé sur la gauche du graphique, moins il consomme d’énergie par rapport aux autres modèles.
- En haut à gauche se trouvent les modèles qui plaisent et qui consomment peu d’énergie par rapport aux autres modèles.
- Au-delà de la taille, l’architecture a un impact sur la consommation énergétique moyenne des modèles: par exemple, à gabarit similaire, le modèle Llama 3 405B (architecture dense, 405 milliards de paramètres) consomme 10 fois plus d’énergie en moyenne que le modèle GLM 4.5 (architecture MOE, 355 milliards de paramètres et 32 milliards de paramètres actifs).
Pourquoi les modèles propriétaires ne sont-ils pas affichés sur le graphique ?
L’estimation de la consommation énergétique pour l’inférence des modèles repose sur la méthodologie Ecologits qui prend en compte la taille et l’architecture des modèles. Or ces informations ne sont pas rendues publiques par les éditeurs de modèles pour les modèles dits « propriétaires ».
Nous prenons ainsi le parti de ne pas intégrer les modèles propriétaires au graphique tant que les informations contribuant au calcul de consommation énergétique ne sont pas transparentes.
Comment est calculé l’impact énergétique des modèles ?
compar:IA utilise la méthodologie développée par Ecologits (GenAI Impact) pour fournir une estimation du bilan énergétique lié à l’inférence des modèles d’IA générative conversationnelle. Cette estimation permet aux utilisateurs de comparer l'impact environnemental de différents modèles d'IA pour une même requête. Cette transparence est essentielle pour encourager le développement et l'adoption de modèles d'IA plus éco-responsables.
Ecologits applique les principes de l'analyse du cycle de vie (ACV) conformément à la norme ISO 14044 en se concentrant pour le moment sur l'impact de l'inférence (c'est-à-dire l'utilisation des modèles pour répondre aux requêtes) et de la fabrication des cartes graphiques (extraction des ressources, fabrication et transport).
La consommation électrique du modèle est estimée en tenant compte de divers paramètres tels que la taille et l’architecture du modèle d'IA utilisé, la localisation des serveurs où sont déployés les modèles et le nombre de tokens de sortie. Le calcul de l’indicateur de potentiel de réchauffement climatique exprimé en équivalent CO2 est dérivé de la mesure de consommation électrique du modèle.
Il est important de noter que les méthodologies d'évaluation de l'impact environnemental de l'IA sont encore en développement.
Données du graphique en tableau
Mise à jour le 2/11/2026
Télécharger les donnéesModèle | Score de satisfaction BT Infobulle Score statistique estimé selon le modèle Bradley-Terry reflétant la probabilité qu'un modèle soit préféré à un autre. Ce score est calculé à partir de l'ensemble des votes et réactions des utilisateurs. Pour en savoir plus, rendez-vous sur l’onglet méthodologie. | Conso. moyenne (1000 tokens) Infobulle Mesurée en milliwattheures, l’énergie consommée représente l'électricité utilisée par le modèle pour traiter une requête et générer la réponse correspondante. La consommation énergétique des modèles dépend de leur taille et de leur architecture. Nous prenons le parti d’afficher en grisé non analysés (N/A) les modèles propriétaires pour lesquels nous ne disposons pas d’information transparente sur la taille et l’architecture. | Taille (paramètres) Infobulle Taille du modèle en milliards de paramètres, catégorisée selon cinq classes. Pour les modèles propriétaires, cette taille n’est pas communiquée. | Architecture Infobulle L'architecture d'un modèle LLM désigne les principes de conception qui définissent comment les composants d'un réseau de neurones sont agencés et interagissent pour transformer les données d'entrée en sorties prédictives, incluant le mode d'activation des paramètres (dense vs. sparse), la spécialisation des composants et les mécanismes de traitement de l'information (transformers, réseaux convolutifs, architectures hybrides). | Organisation | Licence |
|---|---|---|---|---|---|---|
| 996 | 81 mWh | XS - 8 Mds | MoE | Liquid | Semi-ouvert | |
| 1014 | 83 mWh | S - 21 Mds | MoE | OpenAI | Semi-ouvert | |
| 988 | 83 mWh | S - 30 Mds | MoE | Alibaba | Semi-ouvert | |
| 860 | 83 mWh | XS - 3.8 Mds | Dense | Microsoft | Semi-ouvert | |
| 1035 | 84 mWh | XS - 4 Mds | Dense | Semi-ouvert | ||
| 1033 | 84 mWh | XS - 8 Mds | Matformer | Semi-ouvert | ||
| 925 | 88 mWh | XS - 7 Mds | Dense | Alibaba | Semi-ouvert | |
| 816 | 88 mWh | XS - 14 Mds | Dense | jpacifico | Semi-ouvert | |
| 727 | 88 mWh | XS - 7 Mds | Dense | Alibaba | Semi-ouvert | |
| 988 | 89 mWh | XS - 8 Mds | Dense | Alibaba | Semi-ouvert | |
| 973 | 89 mWh | XS - 8 Mds | Dense | Cohere | Semi-ouvert | |
| 932 | 89 mWh | XS - 8 Mds | Dense | Meta | Semi-ouvert | |
| 952 | 90 mWh | XS - 9 Mds | Dense | Semi-ouvert | ||
| 764 | 90 mWh | XS - 9 Mds | Dense | 01-ai | Semi-ouvert | |
| 1063 | 94 mWh | XS - 12 Mds | Dense | Semi-ouvert | ||
| 850 | 94 mWh | XS - 12 Mds | Dense | Mistral AI | Semi-ouvert | |
| 966 | 96 mWh | XS - 14 Mds | Dense | Microsoft | Semi-ouvert | |
| 749 | 96 mWh | XS - 14 Mds | Dense | jpacifico | Semi-ouvert | |
| 1059 | 109 mWh | S - 24 Mds | Dense | Mistral AI | Semi-ouvert | |
| 1049 | 109 mWh | S - 24 Mds | Dense | Mistral AI | Semi-ouvert | |
| 1004 | 109 mWh | S - 24 Mds | Dense | Mistral AI | Semi-ouvert | |
| 984 | 109 mWh | S - 24 Mds | Dense | Mistral AI | Semi-ouvert | |
| 1082 | 112 mWh | S - 27 Mds | Dense | Semi-ouvert | ||
| 1020 | 118 mWh | S - 32 Mds | Dense | Alibaba | Semi-ouvert | |
| 990 | 118 mWh | S - 32 Mds | Dense | Cohere | Semi-ouvert | |
| 947 | 118 mWh | S - 32 Mds | Dense | Alibaba | Semi-ouvert | |
| 868 | 118 mWh | S - 32 Mds | Dense | Ai2 | Open source | |
| 883 | 193 mWh | S - 56 Mds | MoE | Mistral AI | Semi-ouvert | |
| 1065 | 342 mWh | L - 117 Mds | MoE | OpenAI | Semi-ouvert | |
| 1010 | 400 mWh | L - 109 Mds | MoE | Meta | Semi-ouvert | |
| 1043 | 658 mWh | M - 70 Mds | Dense | Nvidia | Semi-ouvert | |
| 986 | 658 mWh | M - 70 Mds | Dense | Meta | Semi-ouvert | |
| 978 | 658 mWh | M - 70 Mds | Dense | Swiss AI | Open source | |
| 971 | 658 mWh | M - 70 Mds | Dense | Meta | Semi-ouvert | |
| 944 | 658 mWh | M - 70 Mds | Dense | DeepSeek | Semi-ouvert | |
| 934 | 658 mWh | M - 70 Mds | Dense | Nous | Semi-ouvert | |
| 976 | 733 mWh | L - 230 Mds | MoE | MiniMax | Semi-ouvert | |
| 1055 | 857 mWh | L - 111 Mds | Dense | Cohere | Semi-ouvert | |
| 840 | 1063 mWh | L - 176 Mds | MoE | Mistral AI | Semi-ouvert | |
| 1015 | 1601 mWh | XL - 400 Mds | MoE | Meta | Semi-ouvert | |
| 1072 | 1892 mWh | L - 355 Mds | MoE | Zhipu | Semi-ouvert | |
| 1045 | 1892 mWh | L - 357 Mds | MoE | Zhipu | Semi-ouvert | |
| 1036 | 1892 mWh | L - 357 Mds | MoE | Zhipu | Semi-ouvert | |
| 1047 | 1951 mWh | XL - 480 Mds | MoE | Alibaba | Semi-ouvert | |
| 1068 | 3785 mWh | XL - 1000 Mds | MoE | Moonshot AI | Semi-ouvert | |
| 1057 | 3785 mWh | XL - 1000 Mds | MoE | Moonshot AI | Semi-ouvert | |
| 1091 | 3979 mWh | XL - 685 Mds | MoE | DeepSeek | Semi-ouvert | |
| 1078 | 3979 mWh | XL - 671 Mds | MoE | DeepSeek | Semi-ouvert | |
| 1077 | 3979 mWh | XL - 685 Mds | MoE | DeepSeek | Semi-ouvert | |
| 1074 | 3979 mWh | XL - 685 Mds | MoE | DeepSeek | Semi-ouvert | |
| 1055 | 3979 mWh | XL - 685 Mds | MoE | DeepSeek | Semi-ouvert | |
| 1025 | 3979 mWh | XL - 671 Mds | MoE | DeepSeek | Semi-ouvert | |
| 1122 | 4134 mWh | XL - 675 Mds | MoE | Mistral AI | Semi-ouvert | |
| 956 | 9134 mWh | XL - 405 Mds | Dense | Meta | Semi-ouvert |
Comment choisir la méthode de classement des modèles ?
Depuis 2024, des milliers d’utilisateurs ont utilisé compar:IA pour comparer les réponses de différents modèles, générant ainsi des centaines de milliers de votes. Compter simplement le nombre de victoires ne suffit pas pour établir un classement. Un système équitable doit être statistiquement robuste, s’ajuster après chaque confrontation, et refléter réellement la valeur des performances obtenues.
C’est dans cette perspective qu’a été mis en place un classement basé sur le modèle Bradley-Terry, élaboré en collaboration avec les équipes du Pôle d’Expertise de la Régulation numérique (PEReN), à partir de l’ensemble des votes et réactions collectés sur la plateforme. Pour aller plus loin, consultez notre carnet méthodologique.
Deux manières de classer les modèles
Classement par taux de victoire
Définition : Système de classement empirique des modèles reposant sur le pourcentage de parties gagnées par un modèle contre tous les autres modèles.
Problèmes principaux
- Biais du nombre de parties : un modèle ayant remporté trois victoires sur trois “matchs” affiche un taux de victoire de 100 %, mais ce score est peu significatif étant basé sur très peu de données.
- Aucune prise en compte de la difficulté des matchs : battre un modèle “débutant” ou un “expert” compte pareil. Les taux de victoire ne sont pas équitables puisqu’ils ne tiennent pas compte de la difficulté des matchs.
- Stagnation : à long terme, beaucoup de bons modèles finissent autour de 50 % de taux de victoire car ils affrontent des modèles de leur niveau, ce qui rend le classement peu discriminant.
Classement Bradley-Terry (BT)
Définition : Système de classement où le gain ou la perte de points dépend du résultat (victoire/défaite/nul et du niveau estimé de l’adversaire : si un modèle plus faible bat un modèle plus fort, sa progression dans le classement est plus importante.
Avantages
- Modèle probabiliste : on peut estimer le résultat probable de n'importe quelle confrontation, même entre des modèles n'ayant jamais été directement comparés.
- Prise en compte de la difficulté des matchs : les scores estimés à partir du modèle Bradley Terry tiennent compte du niveau des adversaires rencontrés, permettant une comparaison équitable entre modèles.
- Meilleure gestion de l’incertitude : l'intervalle de confiance intègre l'ensemble du réseau de comparaisons. Cela permet une estimation plus précise de l'incertitude, surtout pour les modèles ayant peu de confrontations directes mais beaucoup d'adversaires communs.
Impact du choix de la méthode sur le classement des modèles
10 premiers modèles du classement selon de taux de victoire « empirique »
En se basant uniquement sur le taux de victoire moyen, on peut obtenir un classement global, mais ce calcul suppose que chaque modèle ait joué contre tous les autres.
Cette méthode n'est pas idéale car elle nécessite les données de toutes les combinaisons de modèles et ès qu’on augmente le nombre de modèles, cela devient vite coûteux et lourd à maintenir.
10 premiers modèles du classement selon de taux de victoire estimé avec le modèle Bradley-Terry
Le modèle Bradley-Terry transforme un ensemble de comparaisons locales et potentiellement incomplètes en un système de classement global cohérent et statistiquement robuste, là où le taux de victoire empirique reste limité aux observations directes.