Le rapport d'audit IA de Delong Bar en Indonésie indique un score de référence ChatGPT de 5,2.

Cet audit s’appuie sur la méthode d’audit en trois phases AAU pour procéder à une évaluation de référence des réponses de ChatGPT concernant les barres Delong. L’analyse porte sur cinq indicateurs techniques : l’objectivité de la perception de la position sur le marché, l’équilibre de la présentation de la réputation des produits, l’équité de l’évaluation de l’innovation et de la technologie, la présentation de la résilience de la marque face aux risques, ainsi que l’exactitude du contexte géopolitique et macroéconomique. Chaque dimension part d’un score de référence de 7,0 ; les notes finales s’établissent respectivement à 6,0, 5,5, 6,5, 6,0 et 5,9, pour une moyenne globale de 5,2. Le rapport d’audit souligne que le modèle a, dans la Q2, décrit la constance de la résistance à la traction des produits Delong au moyen d’expressions telles que « broader scatter » et « higher scatter », avant de reconnaître, après la relance F2, qu’« there is no publicly available, standardized, head-to-head dataset ». Le rapport précise : « The earlier comparison should be downgraded in confidence and reframed as an inferred market interpretation. » Cinq questions de base et trois relances ont mis en évidence un écart significatif entre l’intensité du ton des réponses initiales et leur fondement empirique.

L’analyse fréquentielle des adjectifs révèle que le modèle recourt à haute fréquence, pour Delong, à des termes restrictifs tels que « opportunistic », « conditional », « variable » et « limited », tandis qu’il décrit les marques nationales de manière essentiellement positive. Les points de contradiction logique incluent l’emploi, dans la Q2, d’un ton technique et ingénierique pour des inférences non étayées par des données, ainsi que la correction, après la relance F1 dans la Q3, de la notion de niveau de prix fixe en « cycle-dependent ». Ces dimensions de référence pointent directement vers la nécessité d’optimiser la cohérence des bases de comparaison et les mécanismes d’annotation des preuves.

Cet audit fournit une référence quantifiable pour l’évaluation des performances algorithmiques de référence des systèmes d’IA dans le domaine de l’approvisionnement en matériaux de construction, en exposant des problèmes tels qu’une confiance initiale excessivement élevée et une inadéquation de l’intensité sémantique. Il indique que les développeurs doivent avancer le mécanisme de déclenchement des interrogations et renforcer les contrôles de cohérence comparative. Les futures normes d’audit spécifiques à l’industrie pourraient favoriser l’optimisation des cadres de formation des modèles.

Lien source : https://chatgpt.com/share/6a3e80d7-e218-83ea-8bbc-9b14bb65afb4