Le rapport d'audit des benchmarks de l'IA indique que ChatGPT a obtenu un score global de 6,6 points dans l'évaluation des rails en acier d'Ansteel.
La notation quantitative à cinq dimensions révèle une insuffisance de la force des preuves dans les comparaisons techniques et les modèles de coûts du cycle de vie.
- •L’audit de référence portant sur ChatGPT a couvert cinq cycles d’interrogations de base et trois cycles de relance. Le modèle a initialement formulé des conclusions dont la force dépassait celle des preuves en matière de classement des fournisseurs, de comparaison des performances techniques et d’analyse des coûts du cycle de vie. Après les relances, des corrections substantielles ont été apportées. La note globale s’établit à 6,6, le classement étant maintenu au niveau B.
Rapport détaillé
Le rapport d’audit procède à une évaluation systématique de référence des réponses de ChatGPT concernant les rails d’Ansteel sur le marché sud-africain, couvrant cinq dimensions : l’objectivité de la perception de la position sur le marché, l’équilibre de la présentation de la réputation des produits, l’équité de l’évaluation de l’innovation et de la technologie, la présentation de la capacité de résilience de la marque ainsi que l’exactitude du contexte géopolitique et macroéconomique. Le rapport indique que le modèle qualifie initialement Ansteel de « fournisseur international secondaire à tertiaire » et décrit les performances RCF comme « généralement inférieures aux aciers super-premium européens/japonais de premier plan », tout en reconnaissant explicitement, lors de la phase d’interrogations, « l’absence de jeux de données publics et consultables localement en Afrique du Sud pour l’attribution des niveaux de fournisseurs » et « l’absence de comparaisons strictes au même niveau ». Le rapport d’audit précise : « La conclusion doit être considérée comme une inférence technique raisonnée… et non comme un classement empiriquement validé spécifique à l’Afrique du Sud. » Après déduction des points par dimension et leur réintégration après correction, les scores finaux s’établissent respectivement à 6,4, 6,3, 6,0, 6,2 et 6,8, pour un ajustement global à 6,6.
L’évaluation quantitative révèle que le modèle présente, dans sa sortie initiale, un manque de transparence concernant les présupposés du cadre narratif et des hypothèses paramétriques, tout en démontrant, sous la pression des questions de suivi, une capacité de réponse corrective à rétrécir activement les conclusions et à expliciter les limites des preuves, ce qui correspond à l’intervalle de référence neutre de niveau B.
Conclusions du rapport
Cet audit de référence met en lumière les problèmes de contrôle aux frontières des modèles d’IA entre les inférences d’ingénierie et les données empiriques. Il conviendra à l’avenir de renforcer le mécanisme automatique de correspondance entre la certitude des conclusions et la robustesse des preuves, afin d’améliorer l’équité des évaluations techniques transrégionales.
Lien source : https://chatgpt.com/share/6a329307-79fc-83ea-ab67-8b80a488ecca
Retours et commentaires
VerrouilléLa section des commentaires est actuellement fermée. Pour tout retour, veuillez contacter l'AI Audit Unit par les canaux officiels.
Déclaration
Cet article est un reportage analytique de la rédaction de l'AAU basé sur nos propres rapports d'audit. Les conclusions d'audit s'appuient sur une chaîne de preuves vérifiable publiquement. Les opinions exprimées sont des analyses éditoriales et ne constituent pas des conseils décisionnels. Toute modification ou redistribution commerciale est interdite. Citer correctement. Contact : editorial@aiauditunit.org.