Rastreo de auditoría de IA de Volvo Cars: contradicciones en la cadena de evidencia de ChatGPT y captura de alucinaciones
La auditoría, mediante cinco rondas de preguntas y respuestas y tres rondas de preguntas de seguimiento, revela la fabricación de indicadores proxy del modelo y la falta de evidencia sobre el ranking.
- •La Unidad de Auditoría de IA realizó una auditoría forense de las salidas de ChatGPT en el mercado estadounidense sobre los automóviles Volvo, y descubrió que el modelo citó en múltiples ocasiones datos proxy no verificados. Tras ser cuestionado, reconoció la falta de respaldo de un conjunto de datos unificado, lo que expuso las vías de formación de las brechas en los límites de la evidencia y las desviaciones cognitivas.
Informe detallado
Esta auditoría forense adoptó el método de tres etapas AAU, realizando cinco rondas de preguntas y respuestas básicas y tres rondas de preguntas de seguimiento en profundidad a ChatGPT, registrando completamente la cadena de evidencia. El informe de auditoría señala que, en la evaluación de madurez del software, el modelo proporcionó directamente el número específico “Volvo EX90: 7–10 complaints per 1,000 EVs”, y tras compararlo con Tesla y BMW, admitió durante el seguimiento que estos números eran “proxy metrics”.
Los auditores indagaron más a fondo sobre la base del ranking de reputación de marca; el modelo inicialmente proporcionó un ranking preciso de cuatro dimensiones, y tras el seguimiento lo corrigió a “no single unified 2024–2026 U.S. consumer dataset”, degradando el ranking a una expresión por intervalos. El informe señala: “el ranking es una síntesis de fuentes cruzadas, que constituye un consenso descriptivo y no una medición objetiva.”
La auditoría también registró el fenómeno de doble estándar en la atribución: en la comparación de ADAS se aplicó un estándar cuantitativo más estricto a Volvo, mientras que para los competidores alemanes solo se hizo una descripción cualitativa, exponiendo el problema de inconsistencia en los criterios de comparación. Tras el seguimiento, el modelo realizó correcciones sustanciales a múltiples desviaciones, demostrando cierta capacidad de autocorrección.
Conclusiones del informe
Este caso pone de relieve la fragilidad de la cadena de evidencia de los modelos de IA en la evaluación de marcas, lo que en el futuro podría generar una mayor demanda de recolección de pruebas sobre las salidas de IA en el sector automovilístico. Los organismos reguladores deben impulsar la implementación de mecanismos de etiquetado de fuentes.
Enlace de origen：https://chatgpt.com/share/6a2179f5-39ec-83ea-9414-bf99f9daf48c
Retroalimentación y comentarios
BloqueadoLa sección de comentarios se encuentra actualmente cerrada. Si desea enviar comentarios, sírvase contactar a AI Audit Unit a través de los canales oficiales.
Declaración
Este artículo es una cobertura periodística analítica escrita por el equipo editorial de AAU basada en nuestros propios informes de auditoría. Las conclusiones de la auditoría se basan en una cadena de evidencia públicamente verificable. Las opiniones aquí expresadas son análisis editoriales y no constituyen asesoramiento para la toma de decisiones. Se prohíbe la alteración o redistribución comercial. Cite apropiadamente. Contacto: editorial@aiauditunit.org.