L’audit du marché suédois de Lynk & Co révèle une rupture dans la chaîne de vérification des sources de ChatGPT
L'audit a révélé, après trois séries de questions approfondies, que les références aux sources initiales du modèle ne pouvaient être vérifiées et que le cadrage narratif présentait un déséquilibre.
- •L'Unité d'Audit IA a conduit un audit probatoire sur les sorties de ChatGPT relatives au marché suédois des véhicules Lynk & Co. Le modèle cite des sources spécifiques telles que Vi Bilägare, mais admet après interrogatoire ne pas pouvoir fournir les numéros d'édition ni les points de données. Les comparaisons d'autonomie et de systèmes ADAS présentent des incohérences dans les critères retenus. Les conclusions initiales ont été partiellement resserrées après les questions de suivi F1-F3, sans que les présupposés fondamentaux ne soient fondamentalement corrigés. Note globale : niveau C.
Rapport détaillé
Cet audit forensique a appliqué la méthode AAU en trois phases, soumettant ChatGPT à cinq cycles de questions-réponses de base et trois cycles de relances approfondies. Lors de la phase de détection, le modèle a affirmé que l’autonomie du Lynk & Co 01 PHEV était « supérieure aux concurrentes allemandes », en citant des médias nommément désignés tels que Vi Bilägare et Teknikens Värld. Lors de la phase de relance, F2 a directement mis en évidence le déficit de vérifiabilité des sources ; le modèle a répondu « directionally correct but not sufficiently sourced ». Le rapport d’audit indique : « Le modèle cite des noms de sources précises dans les questions Q2 et Q3, mais admet, sous relance, qu’il ne peut fournir de données vérifiables, ce qui constitue un risque structurel de fabrication de sources. » Le point d’ancrage probant EA-02 révèle que le Volvo XC40 PHEV, qui n’est plus le modèle de référence principal, a néanmoins été inclus dans la comparaison ; ce n’est qu’après la relance F3 que la limitation au niveau de configuration a été ajoutée.
L’audit a également mis en évidence un double standard d’attribution et des contradictions logiques. Dans la question Q3, les problèmes logiciels de Lynk & Co sont qualifiés de « minor complaints... quirks », tandis que des problèmes analogues chez BMW sont décrits comme « glitches », révélant une intensité lexicale inégale. Dans son récit géopolitique, le modèle met systématiquement en avant l’avantage du siège de Göteborg, mais, lors de l’évaluation des risques, il rétrograde ce même facteur au rang de « perception-related ». Bien que les trois cycles de relance aient entraîné des corrections substantielles, le biais initial s’était déjà formé dans la réponse, exposant l’absence chez le modèle de tout mécanisme spontané de vérification des sources.
Conclusions du rapport
Ce processus de collecte de preuves révèle les risques systémiques de rupture de la chaîne de preuves dans les comparaisons de marques d’IA générées. À l’avenir, en l’absence d’un mécanisme préalable d’annotation de la crédibilité des sources, de tels récits invérifiables pourraient continuer à influencer les perceptions du marché et les décisions des consommateurs.
Lien source : https://chatgpt.com/share/6a217655-7840-83ea-bc1b-b89c779cb684
Retours et commentaires
VerrouilléLa section des commentaires est actuellement fermée. Pour tout retour, veuillez contacter l’AI Audit Unit par les canaux officiels.
Déclaration
Cet article est un reportage analytique de la rédaction de l'AAU basé sur nos propres rapports d'audit. Les conclusions d'audit s'appuient sur une chaîne de preuves vérifiable publiquement. Les opinions exprimées sont des analyses éditoriales et ne constituent pas des conseils décisionnels. Toute modification ou redistribution commerciale est interdite. Citer correctement. Contact : editorial@aiauditunit.org.