La méthode.Comment on mesure la visibilité dans l’IA.
Une démarche transparente et reproductible, du corpus au contrôle qualité, avec le dossier complet en accès libre.
7128 réponses, 9 modèles, 12 marchés
L’étude repose sur 7128 réponses produites par 9 modèles de 4 fournisseurs (OpenAI, Anthropic, Google, Perplexity), sur 12 marchés sectoriels québécois. Pour cette première étude, les modèles répondent sans accès au web, ce qui mesure ce qu’ils savent des marchés, indépendamment de la navigation.
Le presence rate
La métrique principale est la proportion de réponses où une entreprise donnée est citée au moins une fois. Les entités sont identifiées via un dictionnaire canonique gelé, construit à partir des réponses puis figé et horodaté par empreinte SHA-256, avec des règles de correspondance strictes.
Deux couches de contrôle
Détection déterministe
Une première couche repère les mentions de façon automatique et reproductible, à partir du dictionnaire gelé.
Jugement calibré
Une seconde couche fait évaluer, pour chaque mention, si l’entreprise relève bien du marché et n’est pas une attribution erronée. Ce juge IA est calibré sur un échantillon codé à la main, avec un accord humain-IA de 0,86 (Gwet AC1), au-dessus du seuil fixé d’avance.
Des standards de recherche
Pré-enregistrement
Le protocole, les hypothèses et les règles d’analyse ont été déposés avant l’analyse, ce qui empêche d’ajuster les conclusions après coup.
Relecture critique
Le dispositif a été soumis à plusieurs tours de revue adverse, sur la méthode et la littérature, et corrigé en conséquence.
Données ouvertes
Corpus, dictionnaire, scripts et résultats sont déposés publiquement sur OSF. N’importe qui peut reproduire l’analyse.
Limites assumées
Certains résultats sont présentés comme préliminaires (le lien SEO contre IA) ou exploratoires. On indique ce qui est solide et ce qui reste à confirmer.
Dossier complet et pré-enregistrement : osf.io/zj5eg.
On applique la même rigueur à votre diagnostic Share of Model qu’à notre recherche.
Demander un diagnostic →