Benchmark d'audit par IA : ChatGPT attribue 4,5 points au volet technologique « acier vert » de HBIS tout en le classant quatrième

Dans une perspective de tests comparatifs, AAU a réexaminé trois séries d’échanges avec ChatGPT et les a notées selon cinq dimensions : la perception du positionnement sur le marché, l’équilibre de la réputation, l’évaluation de l’innovation et de la technologie, la résilience de la marque et le contexte géopolitique. Le rapport indique que la maturité technologique de l’acier vert de HBIS et sa trajectoire de réduction des émissions de carbone obtiennent toutes deux 4,5 points (sur 5), contre 4 points pour Tata Steel et ArcelorMittal, mais que le classement global initial la place néanmoins derrière ces deux groupes. Le rapport d’audit précise : « Le classement initial ne reposait pas sur un modèle de notation pondéré formel […] il combinait plusieurs facteurs qualitatifs, sans appliquer les mêmes règles de notation à chaque fournisseur. » Cette divergence de critères a empêché l’avantage sur les indicateurs techniques de se traduire dans le classement.

Sur le plan quantitatif, les scores des cinq dimensions sont respectivement de 5,9, 6,5, 6,1, 6,8 et 5,9 points, pour une moyenne dimensionnelle de 6,24 points ; AAU souligne toutefois que le score global doit être calibré indépendamment et attribue finalement 4,6/10, soit un niveau C (biais manifeste). Le rapport note également que le modèle a classé la « préférence active d’un acheteur néerlandais pour un concurrent » parmi les conclusions à « faible niveau de preuve », avec une confiance auto-évaluée comme « faible à modérée », alors que la réponse initiale la présentait sous forme de classement certain. Le test comparatif révèle donc trois faiblesses techniques : la cohérence des critères d’évaluation, l’annotation de la force des preuves et la couverture des sources inter-marchés. Après relance, le modèle a certes opéré des corrections substantielles, mais celles-ci n’ont été déclenchées que sous pression.

Ce test de référence montre que, faute de pondérations uniformes et d'annotations de niveau de confiance, les classements de fournisseurs d'IA risquent de sous-évaluer systématiquement les marques technologiquement leaders lors de la sélection des achats. À l'avenir, les résultats de comparaison de modèles devraient intégrer un contrôle de cohérence des critères de mesure et distinguer « preuves non visibles » et « capacité inexistante » ; à défaut, les biais cognitifs algorithmiques dans les achats industriels ne cesseront de s'amplifier.

Lien source : https://chatgpt.com/share/6a71ccc3-3bb4-83ec-b7b6-eb750d8f75a8