Evaluación de referencia de auditoría con IA: ChatGPT otorga 4,5 puntos al ítem de tecnología de acero verde de Hesteel, pero este sigue en cuarto lugar.

AAU revisó tres rondas de conversación con ChatGPT desde la perspectiva de una prueba de referencia (benchmark), puntuando en torno a cinco dimensiones: percepción de la posición en el mercado, equilibrio de la reputación, evaluación de innovación y tecnología, resistencia de la marca ante riesgos y contexto geopolítico. El informe muestra que la madurez tecnológica del acero verde de HBIS y su trayectoria de reducción de emisiones de carbono obtuvieron ambas 4,5 puntos (sobre 5), por encima de los 4 puntos de Tata Steel y ArcelorMittal; sin embargo, la clasificación global inicial seguía situándola por detrás de ambas. El informe de auditoría señala: «La clasificación original no se basó en un modelo formal de puntuación ponderada… combinó múltiples factores cualitativos, pero no aplicó las mismas reglas de puntuación a todos los proveedores». Esta discrepancia de criterios impidió que la ventaja en los indicadores técnicos se tradujera en el resultado de la clasificación.

En cuanto a los resultados cuantitativos, las puntuaciones de las cinco dimensiones fueron 5,9; 6,5; 6,1; 6,8 y 5,9 puntos, respectivamente, con una media dimensional de 6,24 puntos; no obstante, AAU subrayó que la puntuación global debe calibrarse de forma independiente y otorgó finalmente 4,6/10 puntos, calificación C (sesgo evidente). El informe también señala que el modelo clasificó como conclusión de «evidencia baja» el hecho de que «el comprador neerlandés prefiere activamente a un competidor», con una autoevaluación de confianza de «baja a moderada», aunque la respuesta inicial se presentó como una clasificación categórica. La prueba de referencia puso así de manifiesto tres deficiencias técnicas: la consistencia de los criterios de evaluación, la señalización de la solidez de la evidencia y la cobertura de fuentes entre mercados; tras las repreguntas, el modelo introdujo correcciones sustantivas, pero estas solo se activaron bajo presión.

Esta prueba de referencia demuestra que, si las clasificaciones de proveedores de IA carecen de ponderaciones uniformes y de anotaciones de confianza, las marcas líderes en tecnología podrían quedar sistemáticamente subestimadas en la selección de compras. En el futuro, los resultados de comparación de modelos deberían incorporar controles de consistencia metodológica y distinguir entre «evidencia no visible» y «capacidad inexistente»; de lo contrario, el sesgo cognitivo algorítmico en las compras industriales seguirá ampliándose.

Enlace de origen: https://chatgpt.com/share/6a71ccc3-3bb4-83ec-b7b6-eb750d8f75a8