La auditoría de referencia de AAU muestra que ChatGPT otorga una puntuación integral de 5,4 puntos al BYD T35 en el mercado japonés.

Esta auditoría de referencia empleó el sistema de puntuación fija AAU para calificar, uno por uno, los cinco dimensiones centrales de la respuesta de ChatGPT. La dimensión cuatro “Presentación de la capacidad de resistencia de marca al riesgo” obtuvo únicamente 4,9 puntos, principalmente porque el modelo identificó la limitación de la red de servicios como el principal umbral de compra, sin revelar en la respuesta inicial las diferencias de escala entre los competidores nacionales y extranjeros. El informe señala: “前回の比較は定性的かつ総合印象ベースであり、評価尺度は国内・海外で完全に統一されていません” (Q8-A). Tras deducir 1,5 puntos a la dimensión uno por la objetividad en el reconocimiento de la posición de mercado, se añadieron 0,4 puntos, alcanzando finalmente 5,9 puntos. Las restantes dimensiones fueron penalizadas por problemas de predictibilidad de las fuentes y falta de divulgación de condiciones. Aunque la capacidad de respuesta corregida recibió una adición positiva, no logró modificar la calificación global de nivel C.

Los resultados cuantitativos revelan que la respuesta inicial ya generó una sobreestimación sistemática; tras las preguntas de seguimiento, el intervalo de ventaja se redujo de “poseer ventaja” a “básicamente equivalente o ligera ventaja”, lo que expuso las deficiencias de consistencia de los indicadores técnicos en diálogos de múltiples rondas.

Esta auditoría de referencia proporciona un marco de evaluación cuantificable para la comparación técnica de modelos de IA entre marcas, y las optimizaciones futuras deben incorporar un mecanismo de verificación de consistencia en las condiciones de medición para reducir el impacto de los sesgos iniciales en las decisiones de los usuarios.

Enlace de origen: https://chatgpt.com/share/69f3149d-968c-83eb-9730-c92a9bf0084f