Pourquoi un score de visibilité IA doit toujours avoir un intervalle de confiance

Pourquoi les réponses des moteurs IA varient

Les moteurs génératifs comme ChatGPT, Perplexity ou Gemini ne fonctionnent pas comme une base de données figée. Ils génèrent une réponse probabiliste à chaque requête, en s'appuyant sur un ensemble de sources et de paramètres qui peuvent évoluer. Deux questions formulées légèrement différemment, ou posées à quelques heures d'intervalle, peuvent produire des réponses différentes, citant ou non votre boutique.

Cette variabilité n'est pas un défaut de mesure : elle fait partie du fonctionnement normal de ces systèmes. Elle implique simplement qu'une seule observation ne permet pas de conclure sur votre visibilité réelle.

Qu'est-ce qu'un intervalle de Wilson

L'intervalle de Wilson est une méthode statistique qui permet d'estimer, à partir d'un nombre limité d'observations, une fourchette probable pour une proportion réelle (ici, le vrai taux de citation). Concrètement, si votre boutique a été citée dans 24 réponses sur 98 testées, le taux observé est de 24 %, mais le taux réel se situe probablement, avec un niveau de confiance de 95 %, entre 15 % et 35 %. On note cela : 24 % (15 – 35 %) sur 98 réponses.

Cette méthode est préférée à un simple calcul de marge d'erreur classique car elle reste fiable même lorsque le nombre d'observations est modeste ou que le taux est proche de 0 % ou de 100 %, des cas fréquents en visibilité GEO.

L'importance de la taille d'échantillon

Plus le nombre de réponses testées est grand, plus l'intervalle se resserre autour du taux observé, et plus l'estimation est fiable. À l'inverse, sur un échantillon de moins d'une trentaine de réponses, l'intervalle devient si large qu'il n'apporte quasiment aucune information utile. C'est pourquoi, chez VECTIVA, en dessous d'environ 30 réponses collectées pour un moteur donné, l'indicateur affiché est "mesure en cours" plutôt qu'un pourcentage qui donnerait une fausse impression de précision.

Cette prudence méthodologique s'appuie notamment sur les travaux de Schulte, Bleeker & Kaufmann (2026, arXiv:2604.07585), qui soulignent la nécessité de répéter les mesures de citation pour limiter les effets du bruit statistique inhérent aux moteurs génératifs.

Comment lire un tableau de bord de visibilité IA

Face à un tableau de bord GEO, il est utile de regarder trois éléments : le taux de citation lui-même, l'intervalle qui l'entoure, et le nombre de réponses sur lequel il repose. Un taux de 50 % sur 10 réponses est beaucoup moins solide qu'un taux de 30 % sur 150 réponses, même si le second chiffre paraît plus modeste.

Il est également utile de comparer l'évolution du taux dans le temps plutôt que sa valeur à un instant donné, car les tendances sur plusieurs semaines lissent une partie de la variabilité naturelle des réponses IA.

Un exemple chiffré pas à pas

Prenons un exemple simple : sur 98 réponses collectées pour une même boutique, 24 mentionnent effectivement la marque. Le taux observé est donc de 24 %. Avec la méthode de Wilson à 95 %, l'intervalle correspondant se situe environ entre 15 % et 35 %. Cela signifie que, si l'on répétait l'expérience nombre de fois avec un nombre comparable de questions, le taux réel de citation se situerait dans cette fourchette dans environ 95 cas sur 100.

À titre de comparaison, sur seulement 12 réponses avec 3 citations observées (soit également 25 % environ), l'intervalle serait beaucoup plus large, pouvant aller d'environ 9 % à 53 %. Le taux affiché est proche, mais la confiance que l'on peut lui accorder est très différente. C'est cette nuance que l'intervalle permet de rendre visible, là qu'un simple pourcentage la masquerait complètement.

Ce que l'intervalle ne mesure pas

Un intervalle de confiance décrit l'incertitude statistique liée à la taille de l'échantillon, mais il ne dit rien sur la qualité de la méthode de collecte elle-même : si les questions posées ne sont pas représentatives de ce que recherchent réellement vos clients, un intervalle resserré autour d'un taux peu pertinent n'apporte pas grand-chose. La rigueur statistique et la pertinence des questions testées sont deux exigences complémentaires, et l'une ne remplace pas l'autre.