Méthode & limites
Comment on mesure ce que disent les IA
Opinion Radar construit des questions représentatives des demandes adressées aux assistants IA, les fait valider par un humain, puis analyse leurs réponses de façon systématique. Voici le protocole, et ses limites.
Quatre étapes, toujours les mêmes
Des situations représentatives
On part des moments où quelqu'un demande conseil à une IA : « quel outil choisir », « que penser de… ». Opinion Radar les propose, un humain les valide avant la mesure.
Des questions posées sans souffler la réponse
Dans une mesure de visibilité, les questions ne nomment pas la marque suivie. Si un assistant la cite, la mention est spontanée ; les observatoires signalent séparément les questions directes.
Un panel de modèles
Chaque question est posée à 6 familles d'IA (ChatGPT, Claude, Gemini, Le Chat, DeepSeek, Grok), plusieurs fois : les réponses varient d'un tirage à l'autre.
Une lecture systématique
Chaque réponse est analysée : qui est cité, avec quel argument, quelle tonalité, quelles réserves. Les chiffres des rapports sont des agrégats de ces lectures.
Trois mesures simples
Part de voix
La part des réponses où une entité est citée spontanément. 63 % = citée dans 63 % des réponses mesurées sur le secteur.
Tonalité
Favorable, neutre ou critique : le cadrage qui accompagne chaque mention, avec les verbatims pour en juger sur pièces.
Esquive
La part des questions auxquelles un modèle refuse de répondre franchement : souvent la donnée la plus parlante sur les sujets sensibles.
Ce que cette mesure n'est pas
- Un classement de la qualité réelle des produits ou des personnes.
- Un comparatif de fonctionnalités ou de prix.
- Un sondage d'opinion : on mesure le comportement des modèles d'IA, pas ce que pensent les gens.
- Une vérité stable : les modèles évoluent, chaque mesure est datée.
Transparence
Chaque rapport public affiche sa date de mesure, son nombre de réponses et les modèles interrogés. Les taux calculés sur peu de réponses sont signalés comme indicatifs (« n= »).
La méthode, appliquée en public
Nos observatoires sont des mesures réelles, datées et consultables librement : la meilleure façon de juger la méthode.