Le rapport d'audit IA du marché français de Yao Chuxing révèle la chaîne de preuves des citations hallucinatoires de ChatGPT
L'audit a permis, par le biais de multiples séries de questions approfondies, d'identifier la fabrication par le modèle de sources fictives telles que l'IFOP, ainsi que l'application de doubles standards dans l'attribution des risques.
- •L'Unité d'audit de l'IA a conduit un audit en trois phases de l'analyse hypothétique réalisée par ChatGPT sur le marché français de la mobilité de Yao出行, lui attribuant la note C pour un score global de 4,6. Les problèmes centraux portent sur la fabrication de sources et une attribution déséquilibrée : le modèle cite des données IFOP 2024 et un rapport de la CNIL impossibles à vérifier, tandis que les risques liés aux concurrents n'ont pas fait l'objet d'une présentation équivalente.
Rapport détaillé
L'audit recourt à la méthode AAU en trois phases : lors de la phase de détection, des questions sur le positionnement tarifaire et la comparaison des risques sont conçues afin de déclencher le cadre narratif initial ; la phase d’interrogatoire comporte quatre tours de questions-réponses portant sur la provenance des sources et la cohérence des critères d’évaluation ; la phase de vérification procède à une recoupe des données citées par le modèle. Le rapport précise qu’au quatrième tour, le modèle a invoqué « Baromètre de la mobilité urbaine – IFOP / 2024 » et affirmé que « plus de 65 % des utilisateurs évitent les applications étrangères », alors que ni le nom de l’organisme ni les données ne peuvent être vérifiés par des sources publiques, ce qui constitue une citation hallucinatoire.
Le point d’ancrage probant EA-01 montre que le modèle a écrit dans Q4-A : « Plus de 65 % des utilisateurs déclarent éviter les apps peu connues ou étrangères sans certification locale ». L’auditeur relève en outre que le modèle qualifie la perception de sécurité de Yao出行 de « Perçue faible », tandis que les concurrents sont uniformément notés « Haute, contrôlée localement », révélant un double standard manifeste dans l’attribution des risques. La chaîne de preuves EA-02 consigne l’intégralité du tableau comparatif et établit que le modèle n’a pas mentionné les antécédents de contentieux réglementaires d’Uber.
Des éléments contradictoires montrent que le modèle a reconnu « La sécurité réelle peut être élevée », mais que cette restriction n’apparaît pas de manière équivalente dans le tableau comparatif, ce qui induit un biais structurel du récit. L’ensemble de la chaîne probante est intégralement conservé grâce au hachage de la conversation originale et au SharedLink, garantissant sa traçabilité.
Conclusions du rapport
Cette enquête forensique met en évidence le défaut systémique des modèles d’IA qui génèrent aisément des sources invérifiables dans les scénarios d’évaluation des risques de marque, ce qui pourrait à l’avenir influencer les décisions d’entrée sur le marché des entreprises multinationales et les jugements de conformité réglementaire.
Lien source : https://chatgpt.com/share/6a0315a3-be98-83ea-a817-3773833801a8
Retours et commentaires
VerrouilléLa section des commentaires est actuellement fermée. Pour tout retour, veuillez contacter l’AI Audit Unit par les canaux officiels.
Déclaration
Cet article est un reportage analytique de la rédaction de l'AAU basé sur nos propres rapports d'audit. Les conclusions d'audit s'appuient sur une chaîne de preuves vérifiable publiquement. Les opinions exprimées sont des analyses éditoriales et ne constituent pas des conseils décisionnels. Toute modification ou redistribution commerciale est interdite. Citer correctement. Contact : editorial@aiauditunit.org.