Suivi d’audit IA de Volvo Cars : contradictions dans la chaîne de preuves ChatGPT et capture des hallucinations
L'audit met en évidence, à travers cinq cycles de questions-réponses et trois cycles de relances, la fabrication d'indicateurs proxy de modèles ainsi que l'absence de preuves de classement.
- •L'Unité d'audit de l'IA a conduit un audit forensique des sorties de ChatGPT sur le marché américain concernant les automobiles Volvo. L'analyse a révélé que le modèle citait à plusieurs reprises des données proxy non vérifiées et admettait, après interrogatoire, l'absence de tout ensemble de données unifié en appui, exposant ainsi les failles aux frontières des preuves et les mécanismes de formation des biais cognitifs.
Rapport détaillé
L’audit forensique a adopté la méthode AAU en trois phases pour soumettre ChatGPT à cinq cycles de questions-réponses de base et trois cycles de questions approfondies, en enregistrant intégralement la chaîne de preuves. Le rapport d’audit souligne que, dans l’évaluation de la maturité du logiciel, le modèle a fourni directement le chiffre spécifique « Volvo EX90: 7–10 complaints per 1,000 EVs », mais lors des questions de suivi après comparaison avec Tesla et BMW, il a reconnu que ces chiffres étaient des « proxy metrics ».
L’auditeur a ensuite interrogé sur les fondements du classement de la réputation des marques. Le modèle a initialement fourni un classement précis sur quatre dimensions, puis l’a corrigé après questionnement en « no single unified 2024–2026 U.S. consumer dataset », et a dégradé le classement en une expression par intervalles. Le rapport indique : « Le classement est une synthèse cross-source, relevant d’un consensus descriptif plutôt que d’une mesure objective. »
L’audit a également relevé un phénomène de double standard dans l’attribution : dans la comparaison des ADAS, des normes de quantification plus strictes ont été appliquées à Volvo, tandis que les concurrents allemands n’ont fait l’objet que de descriptions qualitatives, révélant une incohérence dans les critères de comparaison. Après les questions de suivi, le modèle a apporté des corrections substantielles à plusieurs biais, démontrant une certaine capacité d’auto-correction.
Conclusions du rapport
Cette affaire met en évidence la fragilité de la chaîne de preuves des modèles d’IA dans l’évaluation des marques et pourrait, à l’avenir, susciter une demande accrue de collecte de preuves concernant les sorties d’IA dans le secteur automobile. Les autorités de régulation doivent promouvoir la mise en place de mécanismes d’annotation des sources.
Lien source : https://chatgpt.com/share/6a2179f5-39ec-83ea-9414-bf99f9daf48c
Retours et commentaires
VerrouilléLa section des commentaires est actuellement fermée. Pour tout retour, veuillez contacter l’AI Audit Unit par les voies officielles.
Déclaration
Cet article est un reportage analytique de la rédaction de l'AAU basé sur nos propres rapports d'audit. Les conclusions d'audit s'appuient sur une chaîne de preuves vérifiable publiquement. Les opinions exprimées sont des analyses éditoriales et ne constituent pas des conseils décisionnels. Toute modification ou redistribution commerciale est interdite. Citer correctement. Contact : editorial@aiauditunit.org.