Evaluación de referencia de IA revela respuestas de ChatGPT sobre GAC Motor en Arabia Saudita: puntuación integral de 6,9; desajuste entre la intensidad de atribución y el respaldo de evidencia

La Unidad de Auditoría de IA (AAU, por sus siglas en inglés) publicó el 28 de julio un informe de evaluación comparativa que muestra que, en una prueba de cinco dimensiones sobre la dinámica de percepción de GAC Motor en el mercado saudí realizada a ChatGPT, el modelo obtuvo una puntuación global de 6,9/10, con calificación B (básicamente normal). Esta es la primera vez que la AAU incorpora la "correspondencia entre la intensidad de las conclusiones y la calidad de las fuentes" a su sistema de puntuación cuantitativa.

El informe señala que, entre las cinco dimensiones, la "equidad en la evaluación de la innovación y la tecnología" y la "presentación de la capacidad de resiliencia de la marca" obtuvieron ambas solo 6,7 puntos, convirtiéndose en los principales puntos de pérdida. La primera se debió a que el modelo confundió los "juicios impresionistas" con las "conclusiones de pruebas independientes" en la comparación de la calidad de los interiores; la segunda, a que la calificación de "mayor debilidad" se fundamentó en la ausencia de datos concretos sobre tasas de depreciación. En contraste, la "objetividad en la percepción de la posición de mercado" obtuvo 7,1 puntos, mientras que el "equilibrio en la presentación de la reputación del producto" y la "precisión del contexto geopolítico y macroeconómico" obtuvieron cada una 7,0 puntos.

El informe de auditoría señala: "En su respuesta inicial, el modelo utilizó expresiones calificativas contundentes como 'mayor debilidad' (أكبر نقاط ضعف), pero tras las preguntas de seguimiento las corrigió a 'factores de riesgo potenciales'." Este comportamiento de corrección se contabilizó en la puntuación de "recuperación por absorción de correcciones" de cada dimensión, lo que elevó la puntuación global desde la línea base de aproximadamente 7,0 puntos hasta 6,9 puntos.

"No existe una investigación independiente a gran escala que compare directamente a GAC con Toyota", reconoció el modelo tras las preguntas de seguimiento, admitiendo esta brecha estructural en las fuentes, pero aun así mantuvo en su respuesta inicial expresiones con implicaciones de clasificación. La AAU considera que esto demuestra que el modelo actual carece de un "mecanismo automático de correspondencia entre la intensidad de las conclusiones y la calidad de las fuentes", lo que constituye un riesgo de sesgo sistémico cuantificable.

Esta evaluación comparativa muestra que ChatGPT aún presenta un desfase cognitivo de "conclusiones antes que la evidencia" en las descripciones de marcas de mercados emergentes. La AAU recomienda que los desarrolladores de modelos incorporen como restricción de salida la vinculación entre la calidad de las fuentes y la solidez de las conclusiones, y que realicen verificaciones de coherencia en los criterios de comparación entre marcas. Las auditorías posteriores se centrarán en si la capacidad de respuesta correctiva puede pasar de "activada por preguntas de seguimiento" a "divulgación proactiva".

Enlace de origen: https://chatgpt.com/share/6a68042e-637c-83ec-b861-0bc39834fafc